发现者网
产业经济 科技业界 3C数码 文化传媒 移动智能 家电行业 AI大模型 汽车出行 热点资讯

GPT-5也有“舌尖现象”?谷歌450万次测试揭秘模型知识提取难题

2026-08-15来源:快讯编辑:瑞雪

你是否经历过这样的场景:明明知道某个答案就在嘴边,却怎么也想不起来具体内容?心理学上将这种现象称为“舌尖现象”。如今,谷歌最新研究发现,GPT-5和Gemini 3这两款先进的人工智能模型,竟也面临类似的困境。

在谷歌的研究中,这两个模型虽然将95%至98%的测试事实存储在参数中,但当直接询问时,却有26%至34%的内容无法正确回答。即使让模型“多思考一会儿”,仍有11%至12%的事实无法被提取出来。这表明,模型并非没有学习到这些知识,而是无法有效调用。

这项名为《空货架,还是丢钥匙?》的研究被收录于ICML 2026,并于近期由Google Research通过博客详细介绍了成果,同时公开了名为WikiProfile的基准测试和完整数据集。研究指出,模型回答错误的原因可能有两类:一类是知识未被学习,另一类是知识已学习但无法提取。传统方法往往将这些问题归结为准确率不足,而谷歌提出的“知识画像”框架则通过划分五种状态,更细致地分析模型对知识的掌握情况。

这五种状态包括:存入失败、回忆失败、直接回忆、借助思考回忆以及未存入但通过推理答对。研究通过截断维基百科原文并让模型补全,或在相同上下文中直接提问,来判断知识是否被存入。这些测试均不允许模型“多思考”,以区分记忆与推理的结果。

WikiProfile基准测试包含2150条事实,均取自英文维基百科。每条事实配有10道题目,包括2道测试知识存入、4道直接回答和4道选择题,总计21500道题目。题目由Gemini-2.5-Pro生成,并通过Google搜索验证,人工最终审核后剔除了不到2%的题目。测试覆盖了13个模型,每个模型在开启和关闭“思考”功能的情况下各运行一次,每道题目采样八次,共收集约450万条回答。完整测试一个前沿模型的成本约为500美元。

研究结果显示,在前沿模型的事实错误中,“无法提取”已成为主要问题。冷门知识是导致这一现象的首要原因。数据显示,冷门知识的存入率与热门知识相差无几,但回忆率却显著低于热门知识。例如,Gemini-3-Pro的冷门知识存入率为94.5%,热门知识为99.5%,但回忆率分别为63.3%和84.7%。GPT-5的差距更大,冷门知识存入率为90.7%,热门知识为98.4%,但回忆率仅为52.9%和77.8%。这表明,冷门知识虽然被存储,但更难被调用。

另一个典型场景是反向提问。例如,模型可以快速回答“汤姆·克鲁斯的妈妈是谁”,但当被问“这位女士的儿子是谁”时,却常常卡壳。这种现象被称为“反转诅咒”。谷歌通过将问题改为四选一的形式发现,模型可以正确回答选择题,但无法回答开放式问题。这表明,模型存储知识时,语境、措辞和顺序也被一并保留,导致提问方式稍有变化,模型就无法匹配答案。

研究还发现,“多思考”功能显著提升了模型提取已存储知识的能力。对于已存储但无法直接回答的事实,开启“思考”后,模型可以找回40%至65%的内容。相比之下,未存储的事实仅能找回5%至15%。这表明,“思考”并非通过推理得出答案,而是帮助模型更有效地调用已有知识。谷歌的另一篇姊妹论文《思考以回忆》解释了这一机制:思考过程中的中间内容为模型提供了额外的计算缓冲,同时通过激活相关事实,搭建了通往正确答案的语义桥梁。

然而,这种方式也有潜在风险。如果思考过程中涉及的中间事实是错误的,最终答案的错误概率反而会更高。这类似于人类认知中的“扩散激活”现象:当无法直接回忆某个名字时,通过回忆相关线索,名字可能会自然浮现,但如果线索错误,回忆也会偏离正确方向。

研究还指出,扩大模型规模虽然可以增加知识存储量,但无法显著提升知识提取能力。以开源的Gemma 3家族为例,参数从1B增加到27B,编码失败率从85%降至23%,但回忆失败率并未同步下降,反而在剩余错误中的占比持续上升。在前沿模型中,这一现象更为明显:回忆失败占GPT-5.2全部错误的七成以上,且模型越强大,这一比例越高。

这并不意味着扩大规模失去意义,而是表明其效果存在边界。既然知识存储比例已接近95%至98%的天花板,继续增加参数和数据带来的准确率提升将逐渐减小。未来的改进可能更多依赖于后训练和推理方法,即如何更有效地利用已存储的知识。虽然检索增强技术可以部分弥补这一不足,但参数中的知识仍对流畅性、响应速度和跨语境整合至关重要,难以被外部检索完全替代。

那么,何时应该让模型“多思考”呢?研究将这一问题定义为元认知,即模型需要先判断自身状态,意识到“我无法直接回答”,才能决定是否开启“思考”功能。

OpenAI携手Cerebras推出GPT-5.6 Sol超高速模式 推理速度飙升14倍
为此,OpenAI 与 Cerebras 还对当前先进 AI 大模型现在的速度和智力对比拉了个表格,GPT-5.6 Sol Ultrafast处于绝对领先的位置: 对于众多大模型用户来说,旗舰模型 14 …

2026-08-15

雷军提小米自研发光材料引热议 华为Mate 80先应用 背后技术脉络大揭秘
李崇当时就介绍,华为Mate 80系列手机发布时公布的核心技术亮点里,敏化荧光这项全新的OLED发光技术就是其中重要一项,落地应用之后不仅能大幅提升屏幕整体发光效率、直接降低整机日常使用功耗,还能把屏幕显示…

2026-08-14

旺旺董事长直面危机:反思自身求变革,坚信能度短期经营风浪
8月初,旺旺集团董事长蔡衍明在致全体旺旺人的一封信中如此写道,让大家意识到这家曾承载一代人情怀的老牌企业,如今面临的经营困境。 蔡衍明在信中写道:“我们靠着几只拳头产品过了近30年的好日子,一直未能创新求变,…

2026-08-14

苹果Apple Glasses新专利:音频反馈机制守护隐私防设备被劫持
专利申请指出,麦克风和摄像头捕获的信息可能包含用户本人或周围人员的隐私信息,因此设备需要妥善的隐私提醒,确保佩戴者可以安全掌控信息采集。 苹果在专利申请中提到,部分设备会在输入组件启用时点亮视觉指示灯,从而…

2026-08-14

六方股东强强联合,杭州四维太空智能科技公司正式启航
新公司经营范围含软件开发、卫星遥感数据处理、卫星遥感应用系统集成、卫星技术综合应用系统集成、通信设备制造等 投资时间网、标点财经 天眼查App显示,8月8日,杭州四维太空智能科技有限公司成立,法定代表人为…

2026-08-14

三一汽车金融高层变动:刘洋任董事长 甘思雨兼任总经理与董事
中国网财经8月14日讯昨日,湖南金融监管局公布相关批复,核准刘洋三一汽车金融有限公司(简称“三一汽车金融”)董事长的任职资格。以下是相关批复正文: 同时,湖南金融监管局核准甘思雨三一汽车金融总经理的任职资格…

2026-08-14

库克即将卸任CEO,苹果秋季发布会新品曝光,折叠iPhone等亮点抢先看
来源:环球网 【环球网科技综合报道】8月14日 ,据外媒MacRumors报道,多方供应链消息汇总显示,苹果9月秋季发布会新品阵容逐步清晰,除iPhone18 Pro系列之外,首款折叠 iPhone、新一…

2026-08-14

中坚科技信披虚假记载被罚390万 三名高管知悉未签署仍放任
根据浙江证监局的告知书,中坚科技的三名高管对上述违规行为负有直接责任,均涉嫌违反《证券法》第八十二条第三款的规定,且三人均"知悉案涉企业合作备忘录未完成签署"。 戴勇斌作为时任董事会秘书、副总经理,负责公司…

2026-08-14