关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2936人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

特朗普回绝伊朗新方案

界面新闻 浏览 915

4大最新信号!出手“黄金坑”的机会来了?

小白读财经 浏览 4272

蔡磊进入渐冻症晚期:研发的药物对病友起效对他没用

潇湘晨报 浏览 9675

曝大S骨灰做成7条项链,范玮琪演唱会上疑似佩戴

扒虾侃娱 浏览 4079

女单黯淡女双坚挺,金花2025交7冠答卷

网球之家 浏览 4053

解放军突然亮出大量东风17 竹林起竖画面被央视公开

小涛叨叨 浏览 9655

采用900V高压架构 蔚来ES9将于5月27日上市

车质网 浏览 868

英媒打脸特朗普:发出威胁后率先退让 是巨大战略失败

澎湃新闻 浏览 61775

丰田辟谣与比亚迪技术合作,网友的评论,能让丰田章男能背过气去

小李车评李建红 浏览 3419

志愿军"冷枪英雄":用206颗子弹杀敌203人 受金成日接见

极目新闻 浏览 9171

李亚鹏与哥哥和解 只有一条真心话短信

温柔娱公子 浏览 2488

软银清仓英伟达,孙正义套现415亿

YOUNG财经 浏览 3969

从0度穿到20度,这件衣服才是今年冬天的“顶流”!

LinkFashion 浏览 3475

深夜,全线崩跌!发生了什么?

券商中国 浏览 3664

E句话| 他们将补办婚礼?

仙女事件簿 浏览 3575

马斯克:解散 xAI,把22万张GPU租给OpenAI死对头

创业家 浏览 930

没补贴、收购置税,新能源车好日子到头了?现实会打服“恨电派”

小李车评李建红 浏览 4839

“男人的衣柜”跨界卖水?

诗与星空 浏览 3541

芦哲:美国CPI势弱,联储10月降息几无悬念

首席经济学家论坛 浏览 4207

一塌再塌!36岁檀健次与大二女生谈恋爱,他的高跟鞋就是锤

严肃八卦 浏览 3362

周星驰悼梁小龙,翻起港圈大佬们的恨海情天

仙女事件簿 浏览 3050
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1