什么是万卡集群？

GPU万卡集群，小米下场了！摩尔线程智算集群扩展至万卡！中国移动将商用三个自主可控万卡集群……一系列标题的袭来，让笔者突然意识到，仿佛在不经意间，智能算力建设已然迈入万卡时代。

那么到底什么是万卡集群？万卡集群到底有哪些作用？有必要部署万卡集群吗？

01 什么是万卡集群？

万卡集群，是指由超过一万张加速卡（如GPU、TPU或其他专用AI加速芯片）组成的高性能计算系统，用以加速人工智能模型的训练和推理过程。

至于为什么需要一万张加速卡？

众所周知，大模型竞赛的本质是算力竞赛。比如这里有一个超大土堆，放一个工人和放一万个工人，在效率上肯定会有质的飞跃。

以OpenAI训练GPT模型为例，GPT-4需要使用2.5万张英伟达A100 GPU，并行训练100天左右的时间，在此期间要处理13万亿个token，并且涉及大约1.76万亿个参数。在不久的将来，开发大模型所需的算力将实现指数级的增长，对于即将亮相的GPT-5，预计该模型的训练需要部署20万~30万个H100 GPU，耗时130~200 天。