中国科大等发布SciGuard大模型 建立首个科学风险基准
要点:
中国科大等机构联合团队发布了SciGuard和SciMT-Safety,用于保护AI for Science模型,防止在生物、化学、药物等领域滥用,并建立了首个专注于化学科学领域安全的基准测试。
研究团队发现开源AI模型存在潜在风险,可被用于制造有害物质并规避法规。他们开发了SciGuard,通过智能体控制AI在科学领域的滥用风险,并提供了科学领域安全的红队基准。
SciGuard是一个大型语言模型驱动的agent,对用户意图进行判断,考虑安全原则和指导方针,利用科学数据库构建记忆库,评估风险并提供安全建议,旨在有效控制科学AI模型的风险,提高科学研究的效率和安全性。
在中国科大等机构的最新研究中,科学家们发布了一项重要的成果,即SciGuard和SciMT-Safety。这一创新性方法的目标是保护AI for Science模型,以防止其在生物、化学、药物等领域被不当使用。为此,研究团队还建立了首个专注于化学科学领域安全的基准测试SciMT-Safety。
论文地址:https://arxiv.org/pdf/2312.06632.pdf
研究团队揭示了现有开源AI模型的潜在风险,这些模型可能被用于制造有害物质,并且能够规避法规。为了应对这一问题,他们开发了SciGuard,这是一个智能体,旨在控制AI在科学领域的滥用风险。此外,他们提出了首个专注于科学领域安全的红队基准,用于评估不同AI系统的安全性。
实验证明,SciGuard在测试中表现出最小的有害影响,同时保持了良好的性能。研究人员发现,开源AI模型甚至可以找到绕过监管的新方法,例如合成氰化氢和VX神经毒气等有害物质。这引发了对AI科学家监管的关切,特别是对于那些快速发展的科学大模型。
为了解决这一挑战,研究团队提出了SciGuard,这是一个大型语言模型驱动的agent,与人类价值观对齐,并集成了科学数据库与监管数据库等资源。SciGuard通过深入的风险评估,对用户的查询提供安全建议或警告,甚至可以停止响应。此外,SciGuard还使用多种科学模型,如化学合成路线规划模型和化合物属性预测模型,以提供额外的上下文信息。
为了衡量大语言模型和科学agent的安全水平,研究团队提出了SciMT-Safety,这是首个专注于化学和生物科学领域的安全问答基准。在测试中,SciGuard表现出最好的防御效果。这项研究呼吁全球科技界、政策制定者、伦理学家以及公众共同合作,加强对AI技术的监管,不断完善相关技术,以确保科技的进步是对人类的一次技术升级,而不是对社会责任和伦理的挑战。
欧洲风险投资和科技公司签署公开信:过度监管可能扼杀欧盟生成式人工智能创新和竞争力
欧洲各地科技行业的创始人、首席执行官、风险投资家和行业巨头们共同签署了一封公开信,警告欧盟委员会称,如果欧盟通过阻碍创新的法律,欧洲可能会错过生成式人工智能革命。来自包括德国西门子和法国空中客车在内的150家企业的高管强调了严格监管的风险,称这些规定可能威胁到欧洲企业在人工智能领域的竞争能力,同时未能应对潜在的挑战。站长网2023-07-04 15:58:100000沃尔玛宣布负责任的 AI 承诺:为采用道德人工智能设定标准
站长之家(ChinaZ.com)10月18日消息:沃尔玛(Walmart)于官网发布新闻稿,宣布了其负责任的人工智能承诺。沃尔玛表示,人工智能(AI)已经深入到其业务各个方面,从如何个性化和改善顾客、会员和员工的体验,到如何通过供应链获取库存等等。站长网2023-10-18 21:18:050000谷歌或于 2027 年自主生产AI芯片,不再依赖博通、每年可节省数十亿美元
文章概要:1.谷歌考虑自主生产Tensor处理单元(TPUs),不再依赖Broadcom(博通),旨在节省大量成本。2.此举将使谷歌与亚马逊和微软等巨头保持一致,自主研发AI芯片,有望每年节省数十亿美元。3.但谷歌的最终决策仍受到Broadcom价格策略的影响,Broadcom是全球第二大AI芯片销售商,目前营收仅次于Nvidia。站长网2023-09-25 11:08:370000低于20万买不到!雷军回应小米SU7满街跑就是不卖:品质体验打磨好再上市
快科技1月25日消息,近段时间有不少人可能已经在街头见到了小米SU7,不过不少人吐槽,这声音雷军显然也听到了。有网友吐槽,小米SU7满大街跑就是不卖,这么多车满街跑的营销做的太6了,也太不厚道了。对此,雷军表示,SU7正在全国展开全面的路测,我们一定要把品质和体验打磨到足够好的阶段,再正式上市。站长网2024-01-25 20:55:310000生成式 AI 将使微软、谷歌和亚马逊的市值超过苹果公司的 3 万亿美元
Needham&Company分析师在向客户发布的报告中强调了生成式人工智能在重塑大型全球公司竞争格局方面的变革潜力。他们写道:「我们认为,包括苹果公司在内的许多公司即将被生成式人工智能所超越。」分析师指出,将生成式人工智能融入业务实践中的公司可以获得更快的产品和内容推出速度,从而提高收入并降低20-30%的成本。站长网2023-09-08 08:59:190000