比 ChatGPT 大 5 倍！英特尔官宣 1 万亿参数 AI 大模型，计划 2024 年完成

眼看着 ChatGPT 持续爆火了几个月，期间微软、谷歌、Meta 等科技巨头接连入局，如今英特尔也终于官宣“参赛”。

上周末，在德国汉堡举行的国际超级计算大会 （ISC） 高性能会议 (HPC)上，英特尔不仅展示了其在 HPC 和 AI 工作负载方面的领先性能，还宣布了一项出人意料的计划:与阿贡国家实验室携手，用 Aurora 超级计算机开发生成式 AI 模型 Aurora genAI，参数量将多达1万亿!

要知道，ChatGPT 的参数规模仅为1750亿，即 Aurora genAI 模型将比它至少大5倍。

AI 模型将由 Aurora 超算提供算力

据了解，英特尔 Aurora genAI 模型将以两个框架为基础:NVIDIA 的 Megatron 和微软的 DeepSpeed。

▶ Megatron:用于分布式训练大规模语言模型的架构，专门针对 Transformer 进行了优化，不仅支持传统分布式训练的数据并行，也支持模型并行。

▶DeepSpeed:专注于优化大型深度学习模型的训练，通过提高规模、速度、成本和可用性，释放了训练1000亿参数模型的能力，极大促进大型模型的训练。

除了这两个框架，Aurora genAI 模型还将由 Aurora 超级计算机来提供算力——这台英特尔为阿贡国家实验室设计的超级计算机，在经历了各种推迟后，如今终于成型了。

根据目前公开的资料显示，Aurora 超级计算机由英特尔 Xeon CPU Max 和 Xeon GPU Max 系列芯片提供支持，总共有10624个节点，拥有63744个 Ponte Vecchio GPU、21248个 Sapphire Rapids 至强CPU、1024个分布式异步对象存储 （DAOS） 存储节点以及10.9PB 的 DDR5傲腾持久内存。

此外，英特尔方面还透露了 Aurora 超级计算机的早期性能结果:“Aurora 超算在科学和工程工作负载上具有领先性能，比 AMD MI250GPU 的性能高2倍，在 QMCPACK 量子力学应用上比 H100提高了20%，并接近线性扩展，可达到数百个节点。”

值得一提的是，与最初的1Exaflop 目标相比，预计 Aurora 超级计算机在今年推出时，将提供超过2Exaflops 的双精度浮点计算性能——比目前多次蝉联全球超算 Top500榜首的 Frontier 超级计算机（1.194Exaflop/s）还要高。

以科学为重点的生成式 AI 模型

有了算力强悍的 Aurora 超算打底，注定 Aurora genAI 模型的规模不会小。据英特尔官方介绍，阿贡国家实验室正在为 Aurora genAI 模型牵头开展国际合作。

阿贡副实验室主任 Rick Stevens 表示:“该项目旨在利用 Aurora 超级计算机的全部潜力，以产生一种资源，可用于能源部实验室的下游科学，并与其他机构合作。”

总体而言，Aurora genAI 是一个以科学为重点的生成式 AI 模型，因此将在通用文本、代码、科学文本以及生物学、化学、材料科学、物理学、医学等科学数据上进行训练。

由此产生的 AI 模型，将具有多达1万亿个参数，包括从分子和材料的设计到数百万个来源的综合知识，可用于各种科学应用:系统生物学、癌症研究、气候科学、宇宙学研究、高分子化学与材料等。除了科学之外，Aurora genAI 模型还可能用于其他领域，如金融建模、自然语言处理、机器翻译、图像识别和语音识别等。

计划2024年完成

除此之外，有关 Aurora genAI 模型的更多信息英特尔尚未剧透，不过据外媒报道，英特尔计划在2024年开发和完成 Aurora genAI 模型——如果进展顺利，或许我们等待的时间并不会太久。

这一消息的发布，引来了不少人的关注，而英特尔入局 AI 大模型即宣布1万亿参数起步，更是令人期待未来 GPT-4等竞品的发展:

▶“万亿参数应该是一个特殊的极限，但你也可以持怀疑态度，说这只是一个需要关注的巨大整数。毫无疑问，如果此模型类似于 GPT-4，这将增加一个数据点。但随着各大公司宣布这个又宣布那个，我想知道我们是否会在6月达到顶峰。”

▶“人们正在使用 H100构建新系统，并且已经有明显更好的 AI GPU 了，如果这种情况继续下去，NVIDIA可能需要尽快宣布新卡以保持领先地位。”

▶“我猜 GPT-4很快就不会在许多基准测试中继续保持 SOTA（state of the art，指在特定任务中目前表现最好的方法或模型）了，或许未来它也将在世界上最快的超级计算机上进行训练。作为参考，OpenAI 超级计算机拥有大约10000个 GPU，而 Aurora 有63744个 GPU。”

参考链接:

https://www.intel.com/content/www/us/en/newsroom/news/intel-delivers-ai-accelerated-hpc-performance.html#gs.yhhdis

https://www.business2community.com/tech-news/intel-announces-1-trillion-parameter-chatgpt-competitor-aurora-genai-02695750#

https://www.reddit.com/r/singularity/comments/13ozabi/intel_announces_aurora_genai_generative_ai_model/