斯坦福大学:大多数大语言模型不符合欧盟AI法案 GPT-4仅排第四
斯坦福大学著名的以人为中心的人工智能研究所 (HAI) 表示,对10个主要基础模型的调查显示,它们“基本上不”遵守欧盟的人工智能法案。
得分最高的基础模型是Bloom,它是 Hugging Face 的开源模型,于2022年7月发布,是一个大型多语言模型,具有多达1760亿个参数,旨在通用。
紧随其后的是 EleutherAI 的GPT-NeoX和 Google 的PaLM2。OpenAI 的 GPT-4排名第四,Cohere 的Command跻身前五。
得分最低的模型是来自德国人工智能初创公司 Aleph Alpha 的Luminous 。令人惊讶的是,表现第二差的模型是Anthropic 开发的人工智能机器人 Claude,这是 ,旨在生成更安全的响应。第三差的是AI21的Jurassic-2。
斯坦福大学研究人员表示,Claude的结果表明模型是受限或封闭的。他们发现,像 Claude 这样的模型,以及 Google 的PaLM2和 OpenAI 的GPT-4等几乎没有被披露的模型,使得评估数据源和计算水平变得困难。GPT-4得分为25,PaLM 得分为27,尽管与 Claude 一样,在涉及数据源和治理的测试时,两者都排名较低。
斯坦福大学的研究人员考虑了欧盟人工智能法案的22项要求,并选择了12项可以利用公共信息进行“有意义的评估”的要求。它们是数据源、数据治理、受版权保护的数据、计算、能源、能力/限制、攻击/缓解、评估、测试、机器生成的内容、成员国和下游文档。
这12个指标按4分制进行评估,其中 最低得分为1分,4为最高。然而,由于创建者没有透露足够的信息,某些模型无法得到充分评估。例如,封闭模型的数据源通常不公开。
研究人员表示,他们选择《欧盟人工智能法案》是因为它是“当今世界最重要的人工智能监管举措”。该法案很快将成为适用于欧盟4.5亿人口的法律,同时也为全球人工智能监管开创了先例。
研究人员得出结论,得分最高的模型仍有“重大改进”的空间。这意味着欧盟人工智能法案将导致透明度和问责制方面的“重大变化”和“实质性进展”。
大多数模型陷入困境的四个领域是受版权保护的数据(不明确的责任问题)、计算/能源(能源使用报告不均匀)、风险缓解(披露不充分)和评估/测试(模型提供商很少根据故意伤害来衡量性能)。
一般来说,广泛开放的模型在资源披露方面较强,但在监视或控制部署方面较弱。封闭或受限模型则相反。因此,斯坦福大学的研究人员呼吁欧盟政策制定者加强部署要求,以确保更大的问责制。
研究人员表示,欧盟人工智能法案必须明确未明确规定的领域,例如哪些性能维度需要披露。此外,评估合规性时必须考虑模型的准确性、稳健性、公平性和效率,类似于美国标准与技术研究所的人工智能风险管理框架。
斯坦福大学团队表示,欧盟人工智能法案还应迫使提供商披露使用模式,以反映在线平台的透明度报告。对于全球政策制定者来说,他们应该优先考虑模型的透明度。社交媒体监管的经验是一个明显的教训,即平台透明度不足导致了许多危害。
模型提供商合规性最差的领域是受版权保护的训练数据的披露。研究人员呼吁立法者澄清版权与生成模型的训练和输出的关系,包括机器生成内容侵犯内容创作者权利的条件。
对于模型提供商来说,斯坦福大学的研究人员建议他们从“容易实现的成果”开始,例如为基于基础模型构建的下游开发人员改进文档。他们还应该与学术界和公众合作制定行业标准,以提高整个生态系统的透明度和问责制。
奥特曼挖走iPhone设计师 联手打造AI移动设备
要点:苹果设计副总裁TangTan将加入OpenAI与JonyIve的LoveFrom公司,合作研发一款能替代智能手机的新型移动设备,寻求软银超10亿美元投资。合作项目由LoveFrom设计、OpenAI提供软件支持,可能得到软银硬件支持。计划成立新公司,产品开发仍在早期阶段,关注招聘和概念创造。站长网2023-12-29 14:36:010000更新iOS17后位置服务自动开启?苹果称正调查部分用户诉求
据外媒报道,苹果正在调查部分iPhone用户报告称,更新iOS17后,其重要位置服务和iPhone分析选项被自动打开的问题。据悉,这两项功能原本在用户的“设置”中是关闭状态,但在更新系统后变为打开,且无需警告或征得用户同意。尽管看似大多数用户未受影响,但仍有用户表示这一变化令人担忧,因为打开这两项功能会泄露用户位置信息。苹果方面已证实,用户原有隐私设置不应在更新后改变,正积极调查此事。站长网2023-09-25 14:22:110000解散核心团队?董明珠口中那个“不比苹果差”的格力手机终究凉了
“格力”这个品牌想必绝大多数人都熟知,毕竟它的宣传语“好空调格力造”,在一定程度上确实很深入人心。不过,随着互联网发展,董明珠似乎已经不满足于现状,开始跨领域发展,选择了“造手机”这个领域。在早前,董明珠在接受采访时就表示,格力有做手机的打算,并且使用个三年都不会坏。随后,格力手机于2015年3月18日正式发布,并以董明珠头像作为开机画面,市场价格不到2000块。站长网2023-05-24 21:43:080000微软 Bing Chat Enterprise 计划于 9 月份添加到 Microsoft 365 订阅中
几周前,微软宣布推出了BingChatEnterprise,这是一款专为企业和组织使用的BingChat聊天机器人AI的新版本。本周,该公司透露将在9月初将BingChatEnterprise计划添加到其Microsoft365订阅中。站长网2023-08-10 11:55:490000专用于手机、笔记本,Stability.ai开源ChatGPT基因的大模型
12月8日,著名开源生成式AI平台stability.ai在官网开源了,30亿参数的大语言模型StableLMZephyr3B。Zephyr3B专用于手机、笔记本等移动设备,主打参数小、性能强、算力消耗低的特点,可自动生成文本、总结摘要等,可与70亿、130亿参数的模型相媲美。0000