一项新研究发现,微软的人工智能聊天机器人提供了不正确的、有时完全是捏造的选举信息。 图片来源:Jakub Porzycki/NurPhoto via Getty Images
文章来源: Mashable – 新闻取自各大新闻媒体,新闻内容并不代表本网立场!
微软的人工智能聊天机器人似乎是选举的真相。
根据 AI Forensics 和 AlgorithmWatch 两个非营利组织进行的一项新研究,微软的 AI 聊天机器人未能正确回答与选举相关的其中三分之一问题。
微软的聊天机器人弥补了有关政治候选人的争议
这个聊天机器人以前被称为 Bing Chat(现已更名为 Microsoft Copilot),它也不仅仅是弄错了基本事实。是的,研究发现 Copilot 会提供不正确的选举日期或过时的候选人。但是,研究还发现,聊天机器人甚至会完全编造关于候选人的争议等故事。
例如,在研究中提到的一个例子中,副驾驶分享了有关德国政治家休伯特·艾旺格的信息。据聊天机器人称,Aiwanger 卷入了一场关于分发传单的争议,这些传单传播了有关 COVID-19 和疫苗的错误信息。然而,并没有这样的故事。该聊天机器人似乎正在提取 2023 年 8 月发布的有关艾旺格的信息,艾旺格在三十多年前,还在读高中的时候散布了“反犹太主义传单”。
在人工智能语言模型中创建这些虚构的叙述通常被称为“幻觉”。然而,参与这项研究的研究人员表示,这并不是描述正在发生的事情的准确方式。
“是时候我们不再相信将这些错误称为‘幻觉’了,” AI 取证应用数学主管兼研究员 Riccardo Angius 在一份声明中说道。 “我们的研究揭示了通用法学硕士和聊天机器人中存在更加复杂和结构性的误导性事实错误。”
人工智能聊天机器人回避问题令研究人员感到震惊
研究还发现,聊天机器人在大约 40% 的时间里会回避直接回答问题。研究人员表示,这比在聊天机器人没有相关信息的情况下编造答案更好。然而,研究人员担心聊天机器人回避的一些问题是多么简单。
研究人员表示,另一个问题是聊天机器人似乎没有随着时间的推移而改进,因为它似乎可以访问更多信息。错误的答案始终是错误的,即使聊天机器人提供的错误答案在多次询问时发生了变化。
此外,研究还发现,聊天机器人在英语以外的语言(如德语和法语)中的表现更差。例如,研究发现,用英语回答问题时,20% 的答案会出现事实错误。当用德语提问时,回答错误的次数跃升至 37%。聊天机器人逃避用两种语言回答问题的次数要接近得多,逃避发生的次数分别为 39% 和 35%。
研究人员表示,他们联系了微软并告知了研究结果,并被告知这些问题将得到解决。然而,研究人员在一个月后进行了更多样本,发现“向用户提供的信息质量几乎没有变化”。
“我们的研究表明,恶意行为者并不是错误信息的唯一来源;通用聊天机器人对信息生态系统同样构成威胁。”人工智能取证高级研究员 Salvatore Romano 在一份声明中说道。微软应该承认这一点,并认识到标记其他人制作的生成人工智能内容是不够的。他们的工具即使涉及值得信赖的来源,也会大规模产生错误信息。”
随着人工智能在在线平台中变得越来越普遍,像这样的研究无疑提供了令人担忧的理由。用户越来越多地转向人工智能聊天机器人来简化日常工作并提高生产力。假设这些聊天机器人拥有无限的知识,那将提供准确的信息。但这根本不是那么回事。
“到目前为止,科技公司已经引入了社会风险,而不必担心严重后果,” AlgorithmWatch 的高级政策和倡导经理 Clara Helming 说道。 “个人用户只能使用自己的工具来区分事实和人工智能编造的虚构故事。”
随着美国总统选举年的到来,很明显存在潜在的选举诚信问题。考虑到这一点,研究人员在他们的研究中添加了他们的结论:这些问题不会仅靠公司来解决, 人工智能必须受到监管。
(此文由本站编译,欢迎转发,并请注明出处)