关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2933人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

资负统筹,多元发展,中国人寿前三季度新业务价值强劲增长41.8%

证券市场周刊 浏览 4049

不是谁弱谁有理,何美延只是说的好听

小椰的奶奶 浏览 2992

军事专家:日本敢染指台湾 就是对中国本土造成侵略

环球网资讯 浏览 3729

收藏=会了?你可能确诊“电子仓鼠症”

时尚COSMO 浏览 3911

天籁出新款,鸿蒙座舱+燃油车,合资新出路来了?

Nice好车 浏览 4838

一加 15 / Ace6“双舰齐发”,新机发布定档 10 月 17 日

IT之家 浏览 4124

王小川回应张文宏拒绝AI写病历观点:小医生+AI是大医生

南方都市报 浏览 3251

3天破24.3亿中美观众不买账,《哪吒2》年冠稳了

靠谱电影君 浏览 3373

嫂子发文承认曾和顶流在一起,还好聚好散?

仙女事件簿 浏览 2724

伊朗未爆弹药爆炸 革命卫队14人死亡

新华社 浏览 905

负债数亿,足力健卖食品要开20000家店

中国企业家杂志 浏览 3983

哈马斯呼吁落实加沙停火协议 要求确保拉法口岸双向开放

极目新闻 浏览 3700

TA:从多纳鲁马到塞门约,瓜帅的足球风格已从控球转变为反击

懂球帝 浏览 3244

时隔一年重要大会在东南沿海大省举办 出现新变化

政知新媒体 浏览 10125

黄宗泽哭着拿双料视帝,10次提名终于熬出头

手工制作阿歼 浏览 3262

好消息,来了!

博闻财经 浏览 4172

拜仁高层:希望凯恩长期为拜仁效力

体坛周报 浏览 4856

视频:福建舰夜泊军港 航母上亮起灯光

北京日报 浏览 2916

含奕派007/奕派008等 东风奕派限时权益至高减6000元

网易汽车 浏览 2593

搭载增程动力 大众ID.ERA量产版2026年上市

车质网 浏览 3133

或为黄色特别版 斯巴鲁BRZ新车型预告图发布

车质网 浏览 4366
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1