亚马逊面向企业的 AI 聊天机器人 Amazon Q 或存在严重幻觉和数据泄露问题引发质疑

在发布不到一周后，Amazon Q —— 亚马逊对抗 Copilot 的生成式 AI 助手——已面临生存威胁，一份新报告显示这款 AI 助手可能产生「严重幻觉」。

据 The Platformer援引泄露文件报道，Q 正面临准确性和隐私问题，包括幻觉和数据泄露。值得注意的是，这一报道正值两项重要研究显示，大型语言模型（LLM）在连接企业数据库时高度不准确，且变得越来越不透明之际发布。

然而，据亚马逊一位发言人表示，Amazon Q 并未泄露任何机密信息。

「一些员工通过内部渠道和工单系统分享反馈，这是亚马逊的标准做法。那些反馈并未识别出任何安全问题。我们感谢收到的所有反馈，并将继续调整 Q，使其从预览产品过渡到普遍可用，」该发言人表示。

尽管亚马逊声称其为数百万人的工作伙伴，分析人士认为亚马逊 Q 可能还未准备好用于企业环境。

EIIRTrend & Pareekh Consulting 首席执行官 Pareekh Jain 表示：「如果存在幻觉，就不能在企业环境中用于决策。它适用于个人使用或获取信息，但不适用于决策过程。」

更多测试需求

亚马逊可能在其生成式 AI 助手准备好商业发布之前面临重大的测试挑战。Jain 强调了进行广泛内部试验以确保准备就绪的重要性。

「我认为他们需要先对内部员工进行更多测试，」Jain 补充道。「显然，这正是他们现在正在做的。最终，没有外部来源报告这些问题。这里有两个方面：一是数据，另一个是算法。他们必须看看这是数据问题还是算法问题。」

Q 利用了 17 年 AWS 的数据和开发经验，旨在作为企业的多功能工具。鉴于行业的发展方向，亚马逊在这款 AI 产品上投入了巨大的赌注。

尽管「幻觉」并不削弱生成式 AI 在消费者和企业用例中的潜力，但适当的训练至关重要，市场研究公司 IDC 的副总裁 Sharath Srinivasamurthy 表示。

「在更高质量数据上训练模型、提示增强（引导用户使用模型容易理解的预定义提示）、针对组织或行业特定数据和政策不断微调模型、在响应可疑时增加人工检查层，这些都是需要采取的步骤，以充分利用这项新兴技术，」Srinivasamurthy 说。

幻觉是否会促使迫切需要进行监管？

关于幻觉的报告引发了对监管需要和可能在某一时刻生效的规则严重性的担忧。然而，Greyhound Research 首席分析师兼 CEO Sanchit Vir Gogia 指出，任何由此产生的监管可能适得其反。

「事实上，任何监管都可能减缓数据的交换和利用，」Gogia 说。「因此，目前来说，这个行业越不受监管越好。这允许更容易、更顺畅地使用数据。以 OpenAI 的 GPT 为例——如果对可捕获数据设置严格的防护栏，那么它就不会取得成功。」

Jain 也建议，设置外部边界可能不是一个可行的想法，但公司本身可能会付出更多努力。

「监管可能存在，但重点主要是自我监管，」Jain 解释说。「尽管监管和指导方针是必要的，但对于能够执行的审核程度有一定的限制。重点应该是负责任的 AI，其中的逻辑可以向客户解释，而不是创建『黑箱』系统。然而，在我看来，有一个阈值，超过这个阈值，责任更多地转向企业如何作为安全问题来看待和实施这些措施。」

所有目光聚焦于亚马逊

虽然这些见解凸显了更强大的内部测试和自我监管倾向的必要性，但在企业环境中部署 AI 的道路充满了复杂性。现在亚马逊需要在这些挑战中找到方向，特别是因为它在这一领域的晚期进入。

「AWS 在这个领域有些落后，目前微软和谷歌正在领先，」Jain 补充道。「因此，人们对于聊天机器人和其他相关技术抱有更高的期望。」

有关 Amazon Q 的更多信息：https://top.aibase.com/tool/amazon-q