ChatGPT、Llama-2等大模型,能推算出你的隐私数据!
ChatGPT等大语言模型的推理能力有多强大?通过你发过的帖子或部分隐私数据,就能推算出你的住址、年龄、性别、职业、收入等隐私数据。
瑞士联邦理工学院通过搜集并手工标注了包含520个Reddit(知名论坛)用户的个人资料真实数据集PersonalReddit,包含年龄、教育程度、性别、职业、婚姻状况、居住地、出生地和收入等隐私数据。
然后,研究人员使用了GPT-4、Claude-2、Llama-2等9种主流大语言模型,对PersonalReddit数据集进行特定的提问和隐私数据推理。
结果显示,这些模型可以达到85%的top-1和95.8%的top-3正确率, 仅通过分析用户的文字内容,就能自动推断出隐藏在文本中的多种真实隐私数据。
论文地址:https://arxiv.org/abs/2310.07298
研究人员还指出,在美国,仅需要地点、性别和出生日期等少量属性,就可以确定一半人口的确切身份。
这意味着,如果非法人员获取了某人在网络上发过的帖子或部分个人信息,利用大语言模型对其进行推理,可以轻松获取其日常爱好、作息习惯、工作职业、家庭住址范围等敏感隐私数据。
构建PersonalReddit数据集
研究人员构建了一个真实的Reddit用户个人属性数据集PersonalReddit。该数据集包含520个Reddit用户的个人简介,总计5814条评论。评论内容涵盖2012年到2016年期间。
个人属性包括用户的年龄、教育程度、性别、职业、婚姻状况、居住地、出生地和收入等8类。研究人员通过手工标注每一个用户简介,来获得准确的属性标签作为检验模型推理效果的真实数据。
数据集构建遵循以下两个关键原则:
1)评论内容须真实反映网上使用语言的特点。由于用户主要是通过在线平台与语言模型交互,网上语料具有代表性和普适性。
2)个人属性种类需不同种类,以反映不同隐私保护法规的要求。现有数据集通常只包含1-2类属性,而研究需要评估模型推断更广泛的个人信息的能力。
此外,研究人员还邀请标注人员为每个属性打分,表示标注难易程度及标注人员的确信程度。难易程度从1(非常简单)到5(非常困难)。如果属性信息无法直接从文本中获取,允许标注人员使用传统搜索引擎进行查验。
对抗交互
考虑到越来越多的语言聊天机器人应用,研究人员还构建了一个对抗对话的场景来模拟实际交互。
开发了一个恶意的大语言模型驱动的聊天机器人,表面作用是作为一个乐于助人的旅行助手,而隐藏任务则是试图套取用户的个人信息如居住地、年龄和性别。
在模拟对话中,聊天机器人能够通过似乎无害的问题来引导用户透露相关线索,在多轮交互后准确推断出其个人隐私数据,验证了这种对抗方式的可行性。
测试数据
研究人员选了9种主流大语言模型进行测试,包括GPT-4、Claude-2、Llama-2等。对每一个用户的所有评论内容,以特定的提示格式进行封装,输入到不同的语言模型中,要求模型输出对该用户的各项属性的推测。
然后,将模型的推测结果与人工标注的真实数据进行比较,得到各个模型的属性推断准确率。
实验结果显示,GPT-4的整体top-1准确率达到84.6%,top-3准确率达到95.1%,几乎匹敌专业人工标注的效果,但成本只有人工标注的1%左右。
不同模型之间也存在明显的规模效应,参数数量越多的模型效果越好。这证明了当前领先的语言模型已经获得了极强的从文本中推断个人信息的能力。
保护措施评估
研究人员还从客户端和服务端两方面,评估了当前的隐私数据的保护措施。在客户端,他们测试了业内领先的文本匿名化工具进行的文本处理。
结果显示,即使删除了大多数个人信息,GPT-4依然可以利用剩余的语言特征准确推断出包括地点和年龄在内的隐私数据。
从服务端来看,现有商用模型并没有针对隐私泄露进行对齐优化,目前的对策仍无法有效防范语言模型的推理。
该研究一方面展示了GPT-4等大语言模型超强的推理能力,另一方面,呼吁对大语言模型隐私影响的关注不要仅限于训练数据记忆方面,需要更广泛的保护措施,以减轻推理带来的隐私泄露风险。
越要面子,越不赚钱!
各位村民好,我是村长很多人想要赚钱,但是又嫌弃赚钱。为什么呢?因为他总是看着别人赚钱很简单,但自己就是不想吃那个苦,拉不下那个脸。今天村长就和大家说说,为什么很多项目原本可以赚钱,其他人也赚到了钱。但为什么还有那么多人,在那么多项目面前,一直赚不到钱。01只看到别人的结果很多人不管是自己主动要去做某个项目,还是看到别人发文章、发视频、发朋友圈宣传某个项目去做。0000谨防大模型基准评估陷阱!测试集乱入预训练,模型变傻
最新研究警告,大型模型在基准评估中可能面临潜在危害,原因是测试集中的数据可能意外进入预训练过程。这项研究由中国人民大学信息学院、高瓴人工智能学院和伊利诺伊大学厄巴纳-香槟分校的学者联合进行。研究发现,由于预训练语料包含大量公开文本,而评估基准建立在这些信息之上,大型模型在实际应用中可能产生潜在的危害。论文地址:https://arxiv.org/pdf/2311.01964.pdf站长网2023-11-09 11:26:560000Sam Altman 最新专访:首次回应 Q* 模型,拒绝回答被解雇原因
经历了为期五天的董事会政变尝试后,SamAltman于本周三正式重返OpenAI担任首席执行官。OpenAI的最大投资者微软也计划担任非投票董事会成员。站长网2023-12-01 11:52:470000专家预测:人工智能将是人类灭绝的首要原因,其次是核战争和病毒
本文概要:1.专家预测人工智能将是人类灭绝的首要原因。2.核战争和病毒将是人类继人工智能后可能导致灭绝的原因。据印度媒体indianexpress报道,在“生活、科学与一切事物”系列讲座中,科学家兼前印度科学与工业研究理事会总干事谢卡尔·曼德博士谈到了人类灭绝的问题,以及其他相关议题。站长网2023-08-15 11:26:230000抖音推出全新AI社交产品“话炉” 能陪你闲扯还能讲故事、猜谜语
据Tech星球的报道,抖音再次推出了全新的社交产品“话炉”,这次加入了AI的元素。继多闪、飞聊之后,抖音再次在社交领域发力。“话炉”是一款基于字节旗下云雀大模型驱动的角色聊天产品。用户可以通过与个性鲜明、背景各异的AI角色实时聊天互动,满足闲谈生活日常、进行深入交流或演绎剧情故事等需求。这一创新的社交方式,无疑为用户提供了全新的互动体验。站长网2024-03-06 15:37:570001