中国科大等发布SciGuard大模型

要点:中国科大等机构联合团队发布了SciGuard和SciMT-Safety，用于保护AIforScience模型，防止在生物、化学、药物等领域滥用，并建立了首个专注于化学科学领域安全的基准测试。研究团队发现开源AI模型存在潜在风险，可被用于制造有害物质并规避法规。他们开发了SciGuard，通过智能体控制AI在科学领域的滥用风险，并提供了科学领域安全的红队基准。