关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro3190人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

关键时刻委少将为美军"敞开大门" 美压制委军手段披露

澎湃新闻 浏览 7482

日本首相选举局势突变 高市早苗的竞争对手出现了

极目新闻 浏览 7610

兹维炮轰巴黎场地速度:太慢,弹跳忽高忽低,阿卡出局或与此有关

网球之家 浏览 4172

王大陆逃兵役案新后续,贾静雯老公受牵连

查尔菲的笔记 浏览 3567

墨西哥一市长怀抱幼子被当众枪杀 曾誓言根除贩毒集团

红星新闻 浏览 9799

央视发文悼念老戏骨许绍雄,原来这才是真实的他

娱乐圈笔娱君 浏览 4279

幸福!孙杨张豆豆自曝结婚3年育有一娃

818体育 浏览 1825

业绩承压借款激增 林平发展“带伤”闯关IPO

北京商报 浏览 3877

美海军"林肯"号航母打击群抵达中东地区

环球网资讯 浏览 3199

"10岁男孩被烟花炸伤头部身亡"案二审开庭 被告拒担责

极目新闻 浏览 9701

波音圣路易斯地区罢工持续近三月,谈判陷入僵局

国际金融报 浏览 4261

签下千亿锂电大单?容百科技,被证监会立案调查!

财通社 浏览 3349

美股、中概股,全线爆发!机构称A股调整是布局良机!

证券时报e公司 浏览 4388

广西10人打零工掉入暴涨的江中遇难:有1家3人身亡

澎湃新闻 浏览 23437

媒体:河南农民苦 夏天大旱中救活的玉米现在都泡烂了

南风窗 浏览 9910

央视主持人遭AI仿冒带货 官方通报

大象新闻 浏览 8426

马斯克拿万亿美元薪酬,特斯拉核心高管为何集体离职?

功夫AUTO 浏览 4126

郭富城三胎得女,四大天王未能迎来首个男孩,压力又给到郭富城了

扒虾侃娱 浏览 4249

全智贤新剧跌破平台下线,迪士尼2亿投资亏本,业内直言堪称灾难

萌神木木 浏览 3993

听说,好多人都在等着彭小苒大火

时尚COSMO 浏览 3056

特朗普第5次给莫迪打电话莫迪终于接了:75岁生日快乐

第一财经资讯 浏览 16514
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1