亚马逊 AWS 将提供人类基准测试团队来测试人工智能模型
亚马逊希望用户能够更好地评估人工智能模型,并鼓励更多人参与这一过程。
在 AWS re:Invent 大会上,AWS 数据库、分析和机器学习副总裁 Swami Sivasubramanian 宣布推出宣布 Bedrock 上的模型评估,现已提供预览,用于评估其存储库 Amazon Bedrock 中的模型。如果没有一种透明的测试模型的方式,开发者可能最终会使用不够准确的模型来处理问答项目,或者使用对他们的用例来说过大的模型。
Sivasubramanian 说:「模型的选择和评估不仅仅在开始时进行,而且是定期重复的事情。我们认为让人类参与循环是很重要的,所以我们提供了一种管理人类评估工作流程和模型性能指标的方法。」
Sivasubramanian 在此前接受的采访中表示,有时一些开发者不知道他们是否应该使用更大的模型来进行项目,因为他们假设更强大的模型会满足他们的需求。后来他们发现,他们本可以基于一个更小的模型来构建。
模型评估包括两个部分:自动评估和人工评估。在自动版本中,开发者可以进入他们的 Bedrock 控制台并选择一个模型进行测试。然后,他们可以根据像鲁棒性、准确性或有害性等指标来评估模型在任务上的性能,如摘要、文本分类、问答和文本生成。 Bedrock 包括了流行的第三方人工智能模型,如 Meta 的 Llama 2. Anthropic 的 Claude 2 和 Stability AI 的 Stable Diffusion。
尽管 AWS 提供测试数据集,但客户可以将自己的数据带入基准测试平台,以便更好地了解模型的行为。然后系统生成一份报告。
如果涉及到人类,用户可以选择与 AWS 的人工评估团队或他们自己的团队合作。客户必须指定任务类型(例如摘要或文本生成)、评估指标以及他们想使用的数据集。AWS 将为与其评估团队合作的用户提供定制化的定价和时间表。
AWS 生成式人工智能副总裁 Vasi Philomin 在接受采访时表示,更好地了解模型的性能有助于更好地指导开发。它还允许公司在使用模型之前,看看模型是否不符合一些负责任的人工智能标准——比如有害性敏感度过低或过高。
Philomin 说:「重要的是模型要为我们的客户工作,要知道哪个模型最适合他们,我们正在给他们一种更好地评估这一点的方法。」
Sivasubramanian 还表示,当人类评估人工智能模型时,他们可以检测到自动系统无法检测到的其他指标——比如同理心或友好度。
Philomin 表示,AWS 不会要求所有客户都对模型进行基准测试,因为一些开发者可能之前已经使用过 Bedrock 上的一些基础模型,或者对模型对他们有何用处已有所了解。那些仍在探索要使用哪些模型的公司,可能会从经历基准测试过程中受益。
AWS 表示,虽然基准测试服务目前处于预览阶段,但它只会对评估期间使用的模型推理收费。
尽管没有特定的人工智能模型基准测试标准,但某些行业普遍接受特定的指标。Philomin 表示, Bedrock 上的基准测试的目标不是广泛评估模型,而是为公司提供一种衡量模型对其项目影响的方式。
Unity 首席执行官:人工智能将使游戏开发「更快、更便宜、更好」
最令人印象深刻的视频游戏世界需要数百名游戏设计师、图形艺术家和音乐家多年才能创造出来。Unity首席执行官JohnRiccitiello预测,生成式人工智能(AI)将将这一时间大幅缩短约五到十倍。Riccitiello在最近的美联社报道中对AI时代的游戏未来进行了思考。站长网2023-07-10 17:07:050002钉钉智能化底座AI PaaS全量上线 并推出无代码数字员工搭建助手 “小码钉”
钉钉在乌镇互联网大会上宣布智能化底座AIPaaS全量上线。这个AI平台面向生态伙伴和客户开放,可以帮助企业快速搭建起专属的"数字员工"和智能化应用。钉钉与六家生态伙伴共同开发的数字员工和智能应用已经上架到钉钉智能应用市场。站长网2023-11-09 15:47:310000Redmi Turbo 3官宣:本月发布 搭载高通骁龙8s Gen3
今日,Redmi品牌总经理王腾正式揭晓,备受瞩目的RedmiTurbo3即将在本月闪亮登场。这款新品将搭载全新的骁龙8系旗舰芯片,以卓越的性能表现,引领中端市场的性能跃升。站长网2024-04-06 14:18:260000韩国一机器人将人错认为一盒蔬菜将其压死
划重点:-🤖技术人员在韩国农产品分拣设施中被机器人误认为一盒蔬菜压死-🚀事故发生在设备试运行之前,官员呼吁建立更好的安全措施-🌐其他行业也面临机器人误操作的风险,如自动驾驶车辆和数据中心据报道,一名技术人员在韩国一家农产品分拣设施中不幸遇难,他被一台机器人误认为一盒蔬菜而被压死。事故发生在设备试运行之前,该技术人员正在对机器人传感器包进行诊断。站长网2023-11-09 16:13:490000英特尔计划在德建厂想要100亿补贴 德财长:太多了给不起
美国英特尔公司计划在德国建立一家芯片工厂,获得了德国政府68亿欧元的补贴,但据英国《金融时报》6月11日报道,英特尔希望进一步从政府获取32亿欧元的补贴使总金额达到约100亿欧元,然而德国财政部长林德纳表示“给不起”。据报道,英特尔要求更多补贴是因为能源和施工成本上升,但林德纳表示德国政府在预算范围内,无法为英特尔提供更多的补贴。目前,德国政府正在努力整合预算,而不是扩充。站长网2023-06-12 22:57:130000