关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1380人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

李沁,一款全方位健康的“老式小孩”

时尚COSMO 浏览 3513

石药集团185亿美元合作背后

YOUNG财经 浏览 1371

外观有调整 新款起亚狮铂拓界实车曝光

车质网 浏览 2854

“大空头”11亿空单瞄准英伟达和Palantir,AI泡沫真的来了吗?

郭施亮 浏览 2525

74岁张纪中与年轻妻子结婚,真的过得幸福吗

丹妮观 浏览 2686

大礼包?蓉城海港送对手亚冠首胜!上海双雄成唯二0胜队+包揽倒2

我爱英超 浏览 2706

财经早餐:多地明确取消35岁考编限制;商务部回应美方威胁加征100%关税

网易财经 浏览 2881

002290,董事被采取强制措施!涉嫌违法发放贷款!

证券时报e公司 浏览 2792

新卡罗拉锐放/腾势N8L/星耀6 三天10款新车密集上市

网易汽车 浏览 2761

不管在什么地方 你都是那样拉轰的男人

星球商业评论 浏览 2496

一集封神,收视率暴涨,这剧赢麻了

独立鱼 浏览 2427

一颗卫星“掉链”,为何让全球航天界紧张?

上游新闻 浏览 1938

中期改款奔驰AMG SL曝光 前脸焕新 依旧多种动力

汽车公告板 浏览 1555

ImageNet分数越高,生成反而越糊?iREPA给出解释

新智元 浏览 1936

87岁画家范曾有四段婚姻 亲生后代一女一子

红星新闻 浏览 19538

比利亚雷亚尔vs阿拉维斯:阿约塞-佩雷斯、帕雷霍首发,阿莱尼亚、洪尼-奥托出战

懂球帝 浏览 1695

委内瑞拉:启动"前所未有"后勤动员

参考消息 浏览 1907

双11|| 今年我只想回购这些!

黎贝卡的异想世界 浏览 2733

iX3的“弟弟”来了,BMW iX1测试伪装曝光,2027年登场

ams车评网 浏览 2855

天空:联赛杯新规出台,塞门约可出战纽卡斯尔

懂球帝 浏览 1689

实用|| 百元外套穿出万元既视感,这个思路太妙了!

黎贝卡的异想世界 浏览 1996
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1