关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者3133人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

“躺平”后,老干妈卖了快54亿

华尔街见闻官方 浏览 3675

夏天别总穿黑色和白色,试试这几款红色单品,高级养眼显气色

静儿时尚达人 浏览 423

米切尔:我罚球少是因为不假摔;不敢多聊,我朋友都被罚款了

懂球帝 浏览 1146

从星巴克到汉堡王 外资消费品牌开启“汉化”之路?

观点机构 浏览 4039

女子买房遇"非正常死亡"事件 卖家:死者自愿离开世界

环球网资讯 浏览 9515

汪小菲要把满月儿子绑在身上坐飞机?马筱梅急了

喜欢历史的阿繁 浏览 2730

98年翻版金城武,“正统男港星”终于又出现了

时尚COSMO 浏览 3727

阿维塔科技:五载深耕中的坚守与进化

网易汽车 浏览 1341

佛罗伦萨,不只是法比安。《民族报》:“准备好为托尔斯泰特报价”

绿茵情报局 浏览 3298

朱琳0比2安德列娃 止步中网第二轮

体坛周报 浏览 4104

唐一军16年敛财1.37亿获无期 曾通过妻子大搞权钱交易

界面新闻 浏览 9287

增程车市场凉了?4月没一款销量过万

正在说车 浏览 549

男子网购"山羊绒大衣"实为绵羊毛起诉获赔 卖家已去世

红星新闻 浏览 12998

暴涨的白银有色,白银竟是地名!股民懵逼

财通社 浏览 3274

物理学者施郁缅怀杨振宁:将来继续在心中和他对话

澎湃新闻 浏览 4476

狼队主帅:斩获首胜之后我们不会松懈;小将马内踢得非常好

懂球帝 浏览 3419

俄乌战场惊现"丐帮打法" 俄无人机绑棍子捅落乌无人机

鲁中晨报 浏览 10155

售35.98万元起 第二代腾势D9正式上市

网易汽车 浏览 1373

理想汽车11月交付33,181辆 累计交付1,495,969辆

网易汽车 浏览 3867

普京指挥俄战略核力量演习 发射洲际弹道导弹

新华社 浏览 4373

五十岁的女人,牢记这 “三不穿”,便能轻松平衡优雅与减龄

静儿时尚达人 浏览 6371
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1