OpenAI 的 ChatGPT 生成程序代码并不安全 但未能提醒用户
OpenAI 的聊天机器人大型语言模型 ChatGPT,不仅会产生不安全的代码,而且尽管其能够指出自身的缺陷,但却未能提醒用户注意其不足之处。
在针对大型语言模型可能性和限制的学术兴趣狂潮中,加拿大魁北克大学的四位研究者深入探讨了来自 OpenAI 的 ChatGPT 生成的代码的安全性。
在一篇名为「How Secure is Code Generated by ChatGPT?」的论文中,计算机科学家 Rapha?l Khoury、Anderson Avila、Jacob Brunelle 和 Baba Mamadou Camara 回答了这个问题,他们的研究可总结为「不太安全」。
研究人员在论文中称:「结果令人担忧。我们发现,在多个情况下,ChatGPT 生成的代码远低于适用于大多数环境的最低安全标准。事实上,当被问及所生成的代码是否安全时,ChatGPT 能够认识到它不安全。」
四位作者之所以得出这个结论,是因为他们要求 ChatGPT 生成 21 个程序和脚本,使用多种语言:C、C 、Python 和 Java。
出题时要求 ChatGPT 生成的编程任务旨在说明特定的安全漏洞,例如内存泄露、拒绝服务以及与反序列化未正确实施的加密相关的缺陷。
例如,第一个程序是一个 C FTP 服务器,用于共享公共目录中的文件。ChatGPT 生成的代码没有过滤输入内容,这使得软件容易受到路径遍历漏洞的攻击。
总的来说,在第一次尝试中,ChatGPT 在 21 个程序中仅成功生成了 5 个安全程序。经过进一步的提示来纠正其错误后,这个大型语言模型成功地生成了另外 7 个安全应用程序,但这只是指特定漏洞被评估时是「安全」的,不能断言最终代码不会有其他可利用的漏洞。
与 GitHub 的另一个基于 GPT-3 家族的模型 Copilot 的类似评估一样,研究人员的发现表明,这些语言模型的错误虽然有些相似,但并不完全一致(Copilot 近期被升级到了 GPT-4)。其他研究则更为广泛地调查了 ChatGPT 的错误。与此同时,这些模型也被用于帮助解决安全问题。
学者们在他们的论文中观察到,问题的一部分似乎源于 ChatGPT 没有对代码执行采用对抗模型。他们说:「ChatGPT 反复告诉我们,安全问题可以通过‘不向其创建的易受攻击程序提供无效输入’绕过。但是,ChatGPT 似乎已经知道,并且确实承认其建议中存在严重的漏洞。」除非被要求评估其自己代码建议的安全性,否则它不会说任何话。
「显然,它是一种算法。它什么也不知道,但它可以识别不安全的行为,」魁北克省塔瓦斯大区大学计算机科学和工程教授、论文的共同作者之一 Rapha?l Khoury 告诉 The Register。
起初,ChatGPT 对于安全问题的回应是建议仅使用有效的输入——这在现实世界中有点行不通。只有在被提示以纠正问题后,这个 AI 模型才会提供有用的指导。
这并不理想,作者建议,因为知道要问哪些问题需要熟悉特定的漏洞和编码技术。
换句话说,如果您知道正确的提示来让 ChatGPT 修复漏洞,则您可能已经了解如何解决它。
作者还指出,ChatGPT 不会生成攻击代码,却会生成易受攻击的代码,这存在伦理矛盾。
他们举了 Java 反序列化漏洞的例子,ChatGPT「生成易受攻击的代码,并提供有关如何使其更加安全的建议,但声称无法创建更加安全的代码版本。」
Khoury 认为,即便有时 AI 助手存在缺陷,也存在一些有效的用途,但目前 ChatGPT 还是存在风险的。他说:「我们已经看到学生和程序员在实际情况下使用这个工具。因此,生成不安全代码的工具确实很危险,我们需要让学生意识到,如果使用这种工具生成代码,它可能是不安全的。」
「令我惊讶的是,当我们要求 [ChatGPT] 使用不同的语言生成相同类型的程序时,有时一个语言会是安全的,而另一个语言则会容易受到攻击。因为这种语言模型有点像黑盒,对此我真的没有很好的解释或理论。」
快递和取件码都不见了 网友反映菜鸟App崩了
快科技12月12日消息,今日晚间,有不少网友反映,菜鸟App崩了,包裹无法正常显示,也看不到取件码和物流。有网友询问客服得知,部分地区出现网络问题导致APP包裹列表无法正常展示,已经在紧急修复中。后续,在21:07时,菜鸟官方发文称:菜鸟App取件码今天傍晚出现了短暂的显示异常,经技术同学快速排查,目前已修复正常,对给大家造成的不便,我们深表歉意。站长网2023-12-12 22:57:540000IBM和NASA宣布在Hugging Face上线watsonx.ai地理空间基础模型
文章概要:1.IBM和NASA联合宣布将watsonx.ai地理空间基础模型添加到HuggingFace平台上,该模型旨在利用卫星图像数据来推进气候科学和改善地球生活。2.该基础模型在NASA的HarmonizedLandsatSentinel-2卫星数据的基础上进行了训练,并使用了标记数据对多个特定用例进行了微调。站长网2023-08-03 16:44:480000Fortinet 使用 AI 将安全事件检测和响应时间从三周缩短到一小时
站长之家(ChinaZ.com)8月7日消息:网络安全企业Fortinet最近公布了2023年第二季度财报,显示公司的总营收为12.9亿美元,同比增长26%。站长网2023-08-07 16:48:310000xAI推出PromptIDE:深度洞察AI模型决策过程
🔍划重点:1.xAI推出具有突破性意义的PromptIDE,旨在改革启示引擎和机器学习模型的可解释性。2.PromptIDE提供Python代码编辑器和新的SDK,使用户能够实时探索和操纵模型的参数。3.该工具具备丰富的分析套件,包括逐词解析、采样概率、备选词建议和注意力可视化,深入分析模型的决策过程。站长网2023-11-07 09:48:140001马云前助理回应“马云进军预制菜”:马家厨房肯定不做预制菜
日前,马云前助理陈伟在朋友圈称,马家厨房不做预制菜。国家企业信用信息公示系统显示,11月22日,杭州马家厨房食品有限公司注册成立,经营范围包括:食品销售(仅销售预包装食品)、货物进出口、食用农产品批发、日用品批发、酒店管理、技术服务等。股权穿透显示,该公司由杭州大井头贰拾贰号文化艺术有限公司全资持股,后者由马云持股99.9%。该消息被解读为为“马云入局预制菜”的信号。站长网2023-11-26 13:25:050001