关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1372人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

E句话|工作室宣布向涵之单身?

仙女事件簿 浏览 1446

空姐穿毛衣上班,被吐槽“很土”?

正解局 浏览 2027

E句话| 又一个95后顶流小生被爆,连粉丝都不放过?

仙女事件簿 浏览 1623

190万赞的爆款女孩,等待代表作

时尚COSMO 浏览 1608

巴特勒临时休战引热议!勇士官方评论区炸锅:被交易还是有急事?

罗说NBA 浏览 1630

深圳“AI+政务”方案重磅发布:以后办业务,一句话的事!

南方都市报 浏览 818

2025羽绒服8大流行趋势,温暖时髦过冬天!

LinkFashion 浏览 2129

上天的小鼠为何更瘦?这场跨年科学对话透露了很多航天趣事|科学家·马上回答

封面新闻 浏览 1835

伊能静儿子逛成都,恩利吃美食被辣出表情包

疯说时尚 浏览 2665

李刚仁:很高兴代表巴黎出战100场比赛,希望继续保持状态

懂球帝 浏览 2505

酷睿Ultra X9处理器388H体验:电竞级核显,续航超持久

IT之家 浏览 1530

广东佛山路边停车为收费出"奇招" 车主吐槽:吃相难看

中国新闻周刊 浏览 5853

柬方:若停火持续72小时 泰国将遣返18名被俘柬士兵

潇湘晨报 浏览 1907

"30年老公厕"被改成咖啡店后又遭封 当地城管部门回应

封面新闻 浏览 11342

猛士汽车2025全年销量10228台 同比增长387%

网易汽车 浏览 1720

商务部公告附件首次改为wps格式 此前多为doc或pdf

上游新闻 浏览 2878

贝壳2025:成交3万亿,赚了30亿

定焦One 浏览 512

价格真香了!最强安卓旗舰平板荣耀MagicPad3 Pro首销优惠价3799元起

快科技 浏览 2771

英媒抛出谬论:中国的空气质量改善 加速了全球变暖

环球时报国际 浏览 8838

鲁内跟腱断裂后,弗里茨等球员控诉ATP不顾球员死活!

网球之家 浏览 2776

CES变成中国科技秀:机器人跳舞、熊猫获奖、眼镜会说话

霞光社 浏览 1703
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1