关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者3318人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

买插混车盯紧这个数!明年可能多花上万元

中新经纬 浏览 4733

限时售9.29万起 第五代瑞虎8正式上市

网易汽车 浏览 4277

币圈大佬的重生:特朗普特赦赵长鹏

节点财经 浏览 4501

将于东京车展首发 全新丰田卡罗拉官图曝光

车质网 浏览 4564

推广|| 每天都在穿!这件外套,轻松搞定秋冬所有搭配

黎贝卡的异想世界 浏览 4240

世体:皇马今天在雨中训练,阿拉巴、卡瓦哈尔和吕迪格依然缺席

懂球帝 浏览 4531

空间实用/补能高效 吉利蓝气球限时钜惠价3.99万元起

网易汽车 浏览 4513

马罗塔:国米不考虑中途换帅

体坛周报 浏览 5090

淘宝闪购新工服需骑手自费购买?平台回应来了!

雷科技 浏览 4356

印度发射该国迄今最重军用卫星 用于提升印海军远洋作战能力

澎湃新闻 浏览 4259

这一天,35岁李沁秒了28岁陈哲远,才知李少红当年的眼光有多绝

温柔娱公子 浏览 4681

长征十二号甲火箭首飞入轨,一级未能成功回收

上观新闻 浏览 3698

韩国人终于把自己的“国运”给彻底玩没了

浏览 27866

走过五年黑暗隧道后,江小白靠一瓶酒杀回来

财经无忌 浏览 3483

马杜罗:美国对委内瑞拉威胁是"老调重弹"

国际在线 浏览 4012

日产卖楼关厂裁员,断臂求生

21世纪经济报道 浏览 4319

以军空袭加沙警车致8名警察死亡

国际在线 浏览 2630

小米REDMI Turbo 5 Max手机“续航耐力赛”直播战报出炉

IT之家 浏览 3521

王楚钦抵达海口参加亚洲杯,不愧是穿搭博主

可乐谈情感 浏览 3438

内娱小白花,公然模仿某巨星却被全网夸爆?

Yuki女人故事 浏览 2486

麦肯尼:没能拿下3分很遗憾;新教练带来了新的理念和活力

懂球帝 浏览 4329
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1