英伟达发布430亿参数大模型ChipNeMo

要点:

1. 英伟达发布了拥有430亿参数的大语言模型ChipNeMo，专注于辅助芯片设计，提高工作效率。

2. ChipNeMo支持问答、EDA脚本生成、Bug总结和分析等任务，帮助芯片设计师完成工作。

3. ChipNeMo的研发采用了领域自适应技术，提升了性能并减小模型大小。

英伟达最新发布的430亿参数大语言模型ChipNeMo专注于辅助芯片设计，旨在提高工程师的工作效率。这一大语言模型的应用范围广泛，包括问答、EDA脚本生成和Bug总结等任务，使芯片设计变得更加便捷。

英伟达首席科学家Bill Dally强调，即使提高生产率的幅度不大，使用ChipNeMo仍然是值得的。ChipNeMo的数据集包括Bug总结、设计源、文档以及硬件相关的代码和自然语言文本，经过数据采集、清洗和过滤后，共有241亿个token。

英伟达采用了领域自适应技术，包括自定义标记器、领域自适应持续预训练、带有领域特定指令的监督微调等方法，以提升大语言模型在工程助理聊天机器人、EDA脚本生成和Bug摘要和分析等领域的性能。

结果显示，这些领域自适应技术不仅提高了性能，还减小了模型大小，但仍有改进空间。英伟达的这一举措标志着大语言模型在半导体设计领域的应用迈出了重要的一步，为专业化领域提供了有用的生成式AI模型。