DeepSeek mHC算法刷屏!AI应用:超级入口与产业AI同加速
2026年1月DeepSeek发布《DeepSeek mHC: Manifold - ConstrainedHyper - Connections》,引发产业刷屏,我们仔细阅读原始论文:背景与效果
何恺明resnet(残差训练)在2016年名声大噪(CVPR 2016 最佳论文),超连接HC(Hyper-Connection)加强残差。
本篇mHC(Manifold-contrained HC)显著提升,解决训练扩展性、不稳定问题(典型值优化3个数量级)。有限硬件成本增加(典型增内存6.7%,一贯DeepSeek风格)
大家关心的趋势和投资问题
1)利好AI应用训练。特别适合残差高频领域,如图像视频和复杂特征逻辑推理(复杂难题)
2)高普适性,尤其训练,尤其端侧。普适很多模型(论文里3B/9B/27B都有),低成本端侧训练/推理容易被显存占用问题缓解。此前残差训练容易梯度爆炸或内存等待
3)内存/缓存/光器件/计算开销?
(不大的新增计算开销。论文里的n流残差流水线延迟,和Lr层mHC核心重计算,用流水线DualPipe 优化。论文典型值内存增加6.7%)。
(新增缓存,如各阶段初始激活值Xlo本地缓存。但不大,因整计算丢弃核心中间激活值)
(光器件几无变化。光模块带宽与之前一致)
(减少存储io次数。大大提高训练稳定性,降低训练中断的重复IO。利好企业级ssd,减少高速ssd依赖)
4)GPU利用率提升?
(GPU利用率大幅提高,典型值90%+。解决内存墙等待。本来残差计算不收敛,不稳定)
(论文提出,原HC虽然优化残差,但易导致信号 / 梯度失控,多流并行放大内存压力。mHC论文从Sinkhorn-Knopp算法开始优化)
本篇涉及的DeepSeek关键技术(尤其线性代数+通信+AI_Infra)
1)承认transformer+稀疏的FFNs(前馈网络)
2)基于Sinkhorn-Knopp算法。将非负矩阵迭代缩放为双随机矩阵,本论文中,是解决超连接训练不稳定的关键技术
3)融合核,缓解内存带宽翻倍问题
4)Amax Gain Magnitude衡量残差流爆炸
5)流形约束超连接,把残差约束到特定流形,保证稳定性
6)伯克霍夫多面体(Birkhoff Polytope),上述5的理论基石
7)混合精度策略。本次AI infra技巧,最大化数值精度
CALLBACK
一贯的DeepSeek创新风格,努力优化一切AI Infra,对应用/训练/模型/GPU使用率利好,对内存/缓存/光器件/AI infra等整体非利空,也利于渗透率再提高。
AI应用:超级入口与产业AI同加速
1、蓄力完成,破土而出
过去几年,大模型与算力的爆发为AI提供了肥沃的“基础土壤”;而日益丰富的AI Infra工具、逐步成熟的数据治理,以及应用厂商不断的试错迭代,2026年将看到AI渗透到产业的多个环节,形成AI收入/总收入临进甜蜜点!
2、超级入口之战:巨头云集,催化密集
开年即决战!字节豆包强势赞助马年春晚,流量预定;DeepSeek新论文/新模型蓄势待发,硬核秀肌肉;阿里系千问与蚂蚁阿福等APP全面铺开;海外Meta数十亿美金收购Manus,AI手机更是未来两年的制高点。科技界不论中美,2026都在齐齐发力,AI应用已成为ROI验证的必经之路。
3、底部反转
看基本面,计算机板块2025H2收入利润已现触底回升态势;看筹码面,机构持仓处于多年低位。
4、四条主线
核心大模型:赢家通吃的地基;
AI Infra:卖铲子的确定性;
高增长场景:广告营销、短剧/动态漫等流量变现快;
高壁垒垂类:企业管理、医疗、教育、生产制造等有数据护城河的B端应用。
5、相关标的
阿里巴巴、腾讯控股、金山办公、合合信息、星环科技、汉得信息、万兴科技、金蝶国际、深信服、鼎捷数智、润达医疗、用友网络、美年健康、蓝色光标、阅文集团、中文在线等。
页:
[1]