关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro3192人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

孙俪、罗晋53集都市职场剧,阵容强大,值得一看

楠鱼 浏览 5099

停火协议第一阶段生效后 加沙小男孩光脚踏上回家路

国际在线 浏览 4441

昂跑藏了一张底牌

虎嗅APP 浏览 3614

鸿蒙智行"9系"扩容 首款MPV智界V9来了

网易汽车 浏览 3800

美媒询问缅甸大选后中国会否同缅甸深化关系 中方回应

外交部网站 浏览 7894

乌克兰一地遭俄军无人机密集袭击 基辅实施紧急停电

每日经济新闻 浏览 3301

上赛季至今五大联赛仅6人直接参与40球+:凯恩第1,青木在列

懂球帝 浏览 3702

现在整个AI投资逻辑都错了!微软CEO首次承认:成排的H100正在积灰,插不上电

AI寒武纪 浏览 4193

编码新未来!WAVE2025泛互全球领航者大会即将启幕

霞光社 浏览 4335

中方取消多场重要会议 李在明承诺:帮高市"搞定"中国

现代小青青慕慕 浏览 16277

争夺女性用户,李想抢不过雷军

字母榜 浏览 4440

萧敬腾在岳父追思会上拥抱妻子,含泪致辞

素素娱乐 浏览 2979

市场震荡下均衡配置成“关键手”,资金为何青睐中证500指数?

时代周报 浏览 4543

2025年ETF盘点:冠军花落通信ETF,年度黑马竟是它!十大关键事件影响深远

每经牛眼 浏览 3513

登上热搜!王欣瑜激战阿尼西莫娃

网球之家 浏览 3342

陈思诚新片定档!五一档终于有救了

陈意小可爱 浏览 1577

特朗普亚洲行美方称中美领导人将会面 中方尚未官宣

上观新闻 浏览 9283

海澜之家:衣柜变大,增长变小

斑马消费 浏览 448

奇瑞集团5月销量24.8万辆 同比增长20.5% 出口18.2万辆再创新高

网易汽车 浏览 383

苏州造车新势力Kosmera跑车亮相CES 2026

IT之家 浏览 3443

预计一季度上市 尚界高颜值轿跑Z7预告图发布

网易汽车 浏览 3401
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1