关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro1414人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

特朗普:以色列须立即停止轰炸加沙

央视新闻客户端 浏览 2791

90后宝妈网购猪食槽收纳孩子玩具走红 商家:订单超6倍

极目新闻 浏览 7492

法拉利战略转型,电动跃马如何取悦中国用户

桑之未 浏览 2898

美媒:中国技术突破极限 42条输电线路全都碾压美国

澎湃新闻 浏览 2761

我们给有毒染料找了个“替身”,而且它真的能吃…

中国科普博览 浏览 1936

夸克上线千问助手,使用阿里Qwen最强大模型

IT之家 浏览 2405

沙特被指立场转变:美若不打击伊朗 会让其变得更大胆

澎湃新闻 浏览 5899

权志龙风波升级!装不懂中文还无视中粉遭暴力对待,挚友被扒辱华

萌神木木 浏览 1970

媒体:南博受赠名画被鉴伪后拨给文物店 以6800元售出

新华社 浏览 12149

湖南慈利通报“网友反映因瓶装液化气销售价格引发矛盾、广告牌被损毁”:相关部门已介入调查

环球网资讯 浏览 2911

侯晓楠喊出积极拥抱IP,但阅文很难成为下一个泡泡玛特

蓝鲸新闻 浏览 3284

委内瑞拉国防部长:已做好捍卫祖国的准备

海外网 浏览 2059

51岁的何炅自曝非常痛苦,如今谁都救不了他?

小梊搞笑解说 浏览 2775

世卫组织:6名苏丹医务人员被武装分子绑架

国际在线 浏览 2691

极氪8X官宣3月16日举办技术发布会,并开启预售

网易汽车 浏览 666

边打字边出片,交互式生成长视频!英伟达联合MIT开源新SOTA

新智元 浏览 2805

周杰伦蹭霉霉热度翻车!又被质疑崇洋媚外,近些年口碑越来越差

萌神木木 浏览 2672

撕开铁幕裂缝:国产手术机器人的千亿逆袭

钛媒体APP 浏览 2854

菜可以预制,信任不可以预支

时尚COSMO 浏览 4502

千亿梯媒巨头25亿巨额计提背后,监管“导火索”已引燃半年之久

野马财经 浏览 1401

俄称在多个方向推进 乌称多地遭空袭

极目新闻 浏览 2598
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1