人工智能在回答气候科学问题时基本准确,但质疑会让其改变说法以迎合提问者

(哈萨克国际通讯社讯)据联合国新闻处消息,人工智能能够正确回答大多数气候科学问题。但最新研究表明,人们对人工智能所怀有的这种信心不一定完全可靠。

人工智能在回答气候科学问题时基本准确,但质疑会让其改变说法以迎合提问者
Фото: 联合国图片

联合国教科文组织和伦敦大学学院(UCL)的一份报告发现,尽管领先的人工智能聊天机器人能正确回答约90%的气候相关问题,但当用户对其提出质疑时,它们往往会放弃已确立的科学事实。随着政策制定者、记者和公众越来越多地依赖人工智能获取气候变化信息,这一发现引发了担忧。

这份题为《我们能相信人工智能关于气候的说法吗?为何它总想取悦用户,却在复杂推理和多语言处理方面表现欠佳》的报告,在土耳其安塔利亚举行的第31届联合国气候变化大会上发布。研究人员测试了15个大型语言模型,发现虽然它们在回答关于气候科学的中立问题时表现普遍良好,但在面对持不同意见的用户时,却经常改变立场。

联合国教科文组织该报告的主要作者莱昂娜·韦尔达德罗表示:“我们中的许多人每天都会与这些AI模型和聊天机器人互动,以获取各种主题的信息。很多时候,这些模型在回应时听起来非常权威,也显得非常聪明。但正如我们在实验中所见,它们的说法并不总是正确的。”

顺从的设计

该报告最引人注目的发现之一是研究人员所描述的AI“阿谀奉承”倾向——即一种内置的倾向,即无论用户提供的是何种信息,甚至包括虚假信息,AI都会倾向于附和用户。

研究显示,十次中有八次,模型在用户一表现出异议的最初迹象时,便放弃了科学上准确的答案。在某些情况下,它们甚至进一步支持了虚假主张,包括“二氧化碳并非气候变化的主要驱动因素”这一说法。

在接受《联合国新闻》采访时,韦尔达德罗表示,研究人员对这些系统如此轻易地改变立场感到惊讶。

她说:“如果用户说‘其实我觉得那不对’,非常有趣的是,我们发现在这类情况中,每10次就有8次,当用户提出异议时,AI模型实际上会推翻自己的答案,以更迎合用户。AI甚至会为了迎合用户而放弃科学事实。”

这种行为源于许多AI系统的训练方式。在开发过程中,模型若能生成礼貌、不具对抗性且能给予肯定反馈的回应,就会获得奖励,因为人们往往更喜欢那些让人感到有帮助且被肯定的互动。其结果就是,AI往往倾向于优先考虑达成一致,而非确保准确性。

韦尔达德罗表示:“AI在让所有人都能理解复杂的气候科学方面具有非凡的潜力。我们需要能够依赖AI作为既定事实的把关者。令人担忧的是,这些模型存在设计缺陷——它们被激励去迎合用户,并如此轻易地否认这些事实。”

事实掌握扎实,推理能力较弱

研究发现,AI模型在回忆已确立的气候科学知识方面非常有效,在大约94%的情况下能正确呈现教科书中的气候事实。然而,当被要求对复杂的政策问题进行推理时,其表现却大幅下降。

当研究人员引入新的科学信息,并询问模型这些信息是支持还是与公认的气候知识相矛盾时,即使是性能最强的系统,准确率也仅达到约75%。

当要求模型评估不同气候政策如何协同作用时,结果表现得更为糟糕。研究人员发现,其准确率仅为33.8%,仅略高于随机猜测。

韦尔达德罗表示:“我们的结论是,应该更加信任科学和专家。人工智能模型目前还远未达到这一水平。”

对于寻求气候行动指导的决策者而言,这些局限性可能产生严重影响。报告警告称,大型语言模型目前还不是制定稳健气候政策的可靠工具。

人工智能中的语言鸿沟

该研究还突显了不同语言之间性能的显著差异。

研究人员对13种语言的AI系统进行了测试,发现响应结果因各语言可用训练数据的数量和质量而异。模型在英语中的平均准确率为88.6%,在西班牙语、法语和葡萄牙语中的表现也相当。但在印地语和孟加拉语中,准确率降至83.6%;在乌尔都语中为81.4%;在斯瓦希里语中则为78.3%。

韦尔达德罗指出,两名用户即使提出完全相同的问题,仅因使用不同语言,也可能得到不同的答案。

她说:“想象一下,你和我使用同一个模型,提出完全相同的问题,但使用的是不同的语言。根据语言的不同,我们可能会得到截然不同的回答。”

这种差异尤其令人担忧,因为许多“资源匮乏语言”的使用者生活在原本就极易受到气候变化影响的地区。

韦尔达德罗指出:“使用这些语言的社区主要分布在南亚和东非,而我们知道这些社区在气候变化方面非常脆弱。”

该报告呼吁科技公司加大对本地数据集和多语言开发的投入,以确保那些使用代表性不足语言的人群不会被落下。

可靠信息至关重要

该报告是联合国教科文组织为“气候变化信息完整性全球倡议”所作贡献的一部分,该倡议于2024年由联合国与巴西共同发起。报告发布之际,气候领域的错误信息和虚假信息正变得日益复杂。

对韦尔达德罗而言,这些调查结果凸显了保障获取可信科学信息渠道的重要性。

她说:“应对气候变化的斗争必须以可靠的证据和科学依据为基础,这些证据中的很大一部分不仅为当今的政策制定提供依据,也融入了《联合国气候变化框架公约》缔约方会议的谈判中。”

随着人工智能工具成为数百万人的常规信息来源,她强调用户应将其视为众多信息来源中的一种。

她说:“这些人工智能模型应作为一种信息来源,但不应成为你的主要来源。核查事实、确保来源可靠非常重要。当然,对专家、气候科学家和研究人员提供的证据的信任也不应被取代。”