关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro1428人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

北京顶豪法拍逆袭:有亿元级毛坯别墅遭10位富豪疯抢

每日经济新闻 浏览 6595

一加 15 /Ace 6 适配《金铲铲之战》原生 165 超高帧模式

IT之家 浏览 2682

詹姆斯谈保罗退役:希望他能好好享受最后的赛季,他已无遗憾

懂球帝 浏览 2233

主销售价45万起,极氪8X路试谍照曝光

网易汽车 浏览 2224

闪电快讯|2026款比亚迪宋Pro DM-i上市,纯电续航提升至220km

电厂 浏览 1773

理财的,注意这两个风险!

米筐投资 浏览 2019

尼科尔:梅努在脚下有球时很出色,但当对手控球时他做得不够

懂球帝 浏览 2892

2-2!英超疯狂之战:1-2落后 10人曼联压哨绝平 0分变1分

叶青足球世界 浏览 2461

男子假期嫖娼被抓7年后被银行发现辞退 官司打到高院

扬子晚报 浏览 8761

媒体:美国中期选举后 特朗普或成"跛脚鸭"被"吊打"

新民周刊 浏览 4837

张艺谋审美真牛!《玉茗茶骨》从娜扎到程潇,都不及张慧雯古典

温柔娱公子 浏览 1355

花400元“过家家”,Jellycat火爆看不懂?情绪消费正带来行业新逻辑

红星资本局 浏览 2747

今年秋天最流行的4件卫衣,减龄又时髦!

LinkFashion 浏览 4446

泡泡玛特股价连跌6天

YOUNG财经 浏览 2649

2026春夏十大流行色

LinkFashion 浏览 1460

纯电出行迎拐点!蔚来广州车展披露补能网络新进展

大象新闻 浏览 2321

杭州,居然是一个巨大的真人寻宝游戏!

时尚COSMO 浏览 3489

美航母大火持续超30小时后被扑灭 600多人无床可睡

环球网资讯 浏览 95101

伊姐周六热推:电视剧《不眠日》;电视剧《照镜辞》......

伊周潮流 浏览 4545

3岁童喝珍珠奶茶蹦床时不幸窒息身亡 家长发声欲追责

大风新闻 浏览 8598

车企“偷换”电池背后:产能不足还是另有隐情

经观汽车 浏览 2683
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1