智源研究院开源 AI 硬件评测引擎FlagPerf v1.0
站长网2023-09-28 08:46:261阅
智源研究院发布了 FlagPerf v1.0，这是一个开源开放的 AI 硬件评测引擎。
FlagPerf 的评测指标体系包括功能正确性指标、性能指标、资源使用指标和生态适配指标。其中，功能正确性指标验证芯片对模型运行的支持，性能指标评估芯片的训练时间和计算吞吐量，资源使用指标衡量芯片和服务器其他零部件的使用情况，生态适配指标考察芯片对不同框架和软件生态的支持能力。
FlagPerf 已经涵盖了自然语言处理、计算机视觉、语音和多模态等领域的20余个经典模型，50余个训练样例，并与多家 AI 软硬件厂商进行深度合作，完成了与不同芯片和框架的适配和评测。
此外，FlagPerf 还支持多样例场景和任务，覆盖大模型训练推理场景。它不仅支持多种训练框架和推理引擎，还支持多种测试环境，包括单卡、单机和多机，以全面评估 AI 芯片的性能和适用性。
在评测过程中，FlagPerf 严格审核参评代码，确保结果公平、过程公正。所有测试代码都已开源，测试过程和数据可复现。
FlagPerf 开源项目:https://github.com/FlagOpen/FlagPerf
0001
评论列表
共(0)条相关推荐
数据标注员什么时候会被AI替代？谷歌：现在就行
似乎自ChatGPT进入大众视野起，需要依靠人工进行数据标注，就成为人们对大语言模型（LLM）根深蒂固的印象之一。从两个以上大模型针对同一个问题给出的不同回答里，找到当中的语病、逻辑和事实错误，标记不同的错误类型，再对这些回答按照质量分别进行打分等，这些都是大模型数据标注员要干的事情。站长网2023-09-11 14:00:010000首款车2024年登场！小米汽车工厂一期完工明确量产
快科技9月2日消息，据小米高管最新确认，小米造车进展一切顺利，进度超预期，多次强调将于2024年实现量产。据悉，小米造车与此前手机的路线非常不同，一开始就坚持自建工厂，自研自产。小米汽车工厂项目位于北京亦庄经开区，一期工厂已于2021年4月开工建设，今年6月竣工。0000麻省理工学院经济学家建议放慢人工智能采用速度
两位麻省理工学院的经济学家，DaronAcemoglu和研究生ToddLensman，提出了一种经济模型来解决对人工智能（AI）的监管问题。他们认为，对于具有变革性的技术，较慢的推广可能更好，并且结合对该技术的税收和对特定行业使用该技术的限制，可以取得最佳效果。站长网2023-07-13 08:59:500000阿里蔡崇信最新发声！训练AI就像教育孩子 三四年就能赶超博士
快科技6月2日消息，阿里巴巴集团的董事长蔡崇信，在最新一次对话中，对人工智能的快速发展和未来前景进行了深入的阐述。他将训练AI模型的过程比喻为教育孩子，大语言模型的发展竞赛，就像家长展示自己孩子的学术成就一样。尽管培养一个孩子需要22年时间，但AI在三四年内就能在知识和某些数学计算方面达到与人类相当的水平，甚至在某些领域达到博士生水平，这种进步速度令人惊叹。0000携程推出“程二代程长礼金”生育补贴政策 全员每孩补贴5万元
携程集团宣布推出全球员工的生育补贴政策，名为“程二代程长礼金”。从2023年7月1日开始，全球入职满3年的员工每生育一个孩子将获得每年1万元的现金补贴，直到孩子满5周岁为止。预计携程将投入10亿元用于激励员工生育。此前，携程集团已经发布了一系列孕期交通费、生育礼金和生育医疗补贴等福利，并增加了孕妇躺椅、辅助生育和母婴室等福利项目。在推出生育补贴政策之前，携程每年在生育福利上的投入接近800万元。站长网2023-06-30 19:36:040000
