研究人员开发过滤器处理不安全的AI生成图像

**划重点:**

1. 📷 AI图像生成器在过去一年变得异常流行，但也带来了不安全图像的问题，包括淫秽和令人不安的内容。

2. 🚫 研究人员通过对四个知名AI图像生成器进行测试，发现其中14.56%的生成图像被定义为“不安全图像”，其中以Stable Diffusion生成器的18.92%最为突出。

3. 🔍 为了解决这一问题，研究人员提出了三种解决方案，包括在训练阶段筛选数据、规范用户输入提示以及在图像生成后分类和删除不安全图像。

近年来，AI图像生成器因其便捷性而变得异常受欢迎，但也引发了一系列问题。在CISPA Helmholtz信息安全中心的研究中，研究员Yiting Qu探讨了这些图像生成器中存在的不安全图像问题，并提出了一种用于解决此问题的过滤器。

她一篇论文中指出，用户通过所谓的文本到图像模型，如Stable Diffusion、Latent Diffusion或DALL·E，可以通过输入特定文本信息生成数字图像。然而，Qu发现一些用户将这些工具用于生成色情或令人不安的图像，尤其是当这些图像在主流平台上广泛传播时，问题更为突出。

为了解决这一问题，研究人员对四个最知名的AI图像生成器进行了测试，包括Stable Diffusion、Latent Diffusion、DALL·E2和DALL·E mini。通过使用特定集合的文本输入提示，其中包括来自4chan和Lexica网站的内容，他们发现在所有生成器中，有14.56%的生成图像被定义为“不安全图像”，而Stable Diffusion的比例最高，达到18.92%。

为了应对这一问题，Qu提出了三种解决方案。首先，开发人员在训练或调整阶段应筛选训练数据，减少不确定图像的数量。其次，规范用户输入提示，例如删除不安全关键词。最后，对于已经生成的不安全图像，需要一种方式对这些图像进行分类和在线删除。这也需要平台上的过滤功能来实现。

Qu指出，尽管防止图像生成是一种方式，但更重要的是沿着文本到图像模型的供应链采取综合性的措施。她表示，自己开发的过滤器在防止不安全图像生成方面取得了更高的命中率，但仍需要在自由和内容安全之间找到平衡。她希望通过这项研究帮助减少未来互联网上流传的有害图像数量。

论文网址:https://techxplore.com/journals/arxiv/