关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro3191人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

伊利契奇:有人出钱让我讲述经历;加斯佩里尼让我突破极限

懂球帝 浏览 4499

卡罗拉锐放价格再下探!网友:这次真心动了

汽车网评 浏览 3347

Meta被曝靠诈骗广告赚取巨额利润

北京商报 浏览 4201

TII发布Falcon-H1R:7B小模型推理能力超越32B大模型

科技行者 浏览 3378

Dockcase Selfix背屏保护壳亮相,适配iPhone 17 Pro系列

IT之家 浏览 3729

工作“牵头”,沉默的靶心!

识局 浏览 3163

她与名导同居多年被抛弃,如今复出却无人问津

吴蒂旅行ing 浏览 3409

光阴的故事丨接力放映露天电影70载 他们用坚守点亮光影记忆

北青网-北京青年报 浏览 5121

国家级5G智慧工厂背书,全新深蓝S07上市交付

经济观察报 浏览 5189

曹德旺退休其子接棒 老了……

道哥说车 浏览 4366

彭小苒的逆袭不止“紫衣杀”

小小敏娱乐 浏览 4393

田栩宁恋情风波再升级!疑似若若回应恋情,喊话外界少打听别惹她

萌神木木 浏览 4362

47岁高圆圆沈阳菜市场卖辣白菜!颜值封神

可乐谈情感 浏览 1153

朱啸虎们押注的300元AI玩偶,先得跑赢「退货潮」

豹变 浏览 4268

二次封后的宋佳凭什么狂妄?

无处不风景love 浏览 4170

大型文化纪实纪录片《因为长江》定档10月27日

安徽博物院 浏览 4483

法式纯电钢炮 2026款标致E-308 GT新车图解

车质网 浏览 5001

“借鸡生蛋”玩崩!一家由上市公司背书的平台,卷入10亿风暴

深蓝财经 浏览 4190

纯电续航751km 奥迪E7X将于5月8日预售

车质网 浏览 1205

马斯切拉诺:我对穆勒的记忆并不美好;希望运气在我们这边

懂球帝 浏览 3726

李亚鹏称体检后疑似患癌 忙着处理医院欠租没时间恐慌

上观新闻 浏览 7659
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1