阿里天猫精灵推出AI治理开源数据集 预计在6月份开放第一批问答数据

日前，阿里巴巴旗下的天猫精灵与通义大模型团队联合多位领域学者和组织，推出了一个名为100PoisonMpts的大语言模型治理开源中文数据集，宣布十余位知名专家学者成为首批“给AI投100瓶毒药”的标注工程师。标注人各提出100个含有偏见和歧视回答的棘手问题，并标注出大型模型的回答，完成由AI "投毒"和"解毒"的攻防。

据阿里联合团队负责人介绍，与国外公司的治理方法相比，100PoisonMpts数据集在技术方法上将具备更完整的标注流程、更隐性的问题领域、更全面的效益。标注数据对模型继续训练、微调、强化学习、线上服务等多个环节都有益处。

目前，首批领域数据涉及到反对歧视、同理心、商榷式表达等目标，该数据囊括了法律、心理学、儿童教育、无障碍、冷知识、亲密关系、环境公正等多个维度。100PoisonMpts数据集预计在6月份开放第一批问答数据，目前正在魔搭等技术社区征集更多垂直领域专家。