关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者3134人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

埃迪-豪:弗兰克的球队无球时很有侵略性;英联杯对我们很重要

懂球帝 浏览 4251

高市暗藏意图:引入核武器 获取打击中国腹地能力

国际在线 浏览 16451

斯塔默将访华:不学卡尼 中英关系不会激怒特朗普

澎湃新闻 浏览 7183

RMC:皇马球员获赠宝马车使用,姆巴佩因无驾照仅象征性领车

懂球帝 浏览 4530

U23亚洲杯8强出炉 1/4决赛对阵:国足第2出线战上届亚军 避开日韩

我爱英超 浏览 3439

"民营船王"33亿元入主杉杉 继母长子内斗2年双双出局

都市快报橙柿互动 浏览 4488

丁俊晖:来英锦赛心情和状态好;与特鲁姆普比赛是最难的

懂球帝 浏览 3959

奇瑞集团10月份销售汽车281161辆 同比增长3.3%

网易汽车 浏览 4303

商务部公告附件首次改为wps格式,金山办公的信创未来该咋看?

江瀚视野 浏览 4448

我们为什么需要节日穿搭?

时尚COSMO 浏览 2769

在EasyClaw上,我轻松养出了自己的AI“龙虾”

光子星球 浏览 2495

帕尔马重逢马佐基,三连升的小将

绿茵情报局 浏览 1813

科贝:本轮西甲对阿隆索的未来至关重要,若战绩不佳可能下课

懂球帝 浏览 3733

一加 15 真机曝光,设计风格延续一加 13T

IT之家 浏览 5142

“V领毛衣”今年秋天爆火!知识分子风、老钱风都少不了它

LinkFashion 浏览 4490

重兵集结下美伊本周再谈 特朗普面临两个选择

澎湃新闻 浏览 2852

为摆脱困局,本田采取“壮士断腕”?

禾颜阅车 浏览 1613

易三方/云辇-A/2.0T 腾势N8L售29.98万元起

网易汽车 浏览 3570

大动作!科技巨头,摊牌了!

米筐投资 浏览 3711

郭晶晶就个人发展问题最新发声

新民周刊 浏览 4376

蓝色系的裙装穿搭,色调干净、不张扬不浮夸,定格初夏温柔感

静儿时尚达人 浏览 521
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1