关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro3369人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

欧盟考虑强制中企转让技术 彭博社:可能引发强烈反弹

环球网资讯 浏览 8525

伊朗军方:战争尚未结束 军队严阵以待

界面新闻 浏览 33749

强掳马杜罗后 特朗普又"敲打"莫迪:让我高兴很重要

看看新闻Knews 浏览 7018

刚刚,锂电闯出一只独角兽,横扫订单170亿!

飞鲸投研 浏览 4736

时代不同了,莲花怎么办?

HighendLife 浏览 5055

全球首份动力电池循环经济研究报告发布

网易汽车 浏览 3404

张升民任国家中央军事委员会副主席

新华社客户端 浏览 15582

临危受命18个月,横琴人寿董事长或“功成身退”!

独角金融 浏览 3303

伊朗副外长:核实美方履行承诺后将启动60天谈判

界面新闻 浏览 107

华境S配置公布 全系标配华为乾崑智驾与鸿蒙座舱

网易汽车 浏览 1438

观众对白百何的评价,明白了当年宋丹丹那番话

娱乐圈笔娱君 浏览 3444

华语乐坛重量级编曲大师屠颖意外去世 儿子发文悼念

鲁中晨报 浏览 9199

中国AIGC用户破5亿,增长1倍;美团:今年超7成外卖低于15元;新能源事故,「破窗锤」被网友买爆

极客公园 浏览 4470

天津联通与华为合作:5G-A宽上行样板点峰值速率突破1Gbps

IT之家 浏览 3252

香港起火楼栋外围使用竹脚手架引关注 被指便宜易运输

上游新闻 浏览 31791

行驶超7万公里,初代问界M5满足国标涉水、底部撞击、火烧要求

IT之家 浏览 4009

15年离婚拉锯落幕,“中国巴菲特”失去沃华医药实控权

野马财经 浏览 4258

OpenAI确认旗下首款AI硬件今年发布,形态有望为“一支笔”

IT之家 浏览 3454

中方回应是否会向伊朗提供军事支持

澎湃新闻 浏览 2814

“双11”本地之战 | 紧邻美团,京东折扣超市北京首店将落地门头沟 为何大厂偏爱五环外

北京商报 浏览 4340

纳帅:尊重马扎加入阿尔及利亚,但选择国家队应出于自豪感

懂球帝 浏览 4300
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1