Meta将拥有世界上最快的AI超级计算机，以支持元宇宙发展

预计到2022年下半年，Meta将拥有被认为是世界上最快的AI超级计算机。该系统名为AI Research SuperCluster（RSC）。

目前，RSC正在开发中，一旦第二阶段在今年下半年完成，该系统将提供近5 exaflops的混合精度计算。

Meta，以前称为Facebook，已经在使用超级计算机来训练包括自然语言处理（NLP）和计算机视觉中的超大型AI模型。该公司使用大规模的人工智能模型来解决公司持续发力的优先事项，如检测其社交平台上的有害内容。

Meta希望训练具有数万亿个参数的模型，以为元宇宙发展提供动力 - Meta打算通过其平台和产品支持虚拟世界。

Meta首席执行官Mark Zuckerberg在一份声明中表示：'我们为元宇宙构建的体验需要巨大的计算能力，每秒数万亿次操作！RSC将实现新的AI模型，可以从数万亿个例子中学习，理解数百种语言。'。

目前，RSC总共包含760个Nvidia DGX A100系统作为其计算节点，总共有6080个GPU。GPU通过Nvidia Quantum 200Gb/ s InfiniBand两层Clos结构进行通信。RSC 的存储层具有175 PB 的Pure Storage FlashArray、46 PB 的 Penguin Computing Altus 系统中的缓存存储和 10 PB 的 Pure Storage FlashBlade。

相比之下，美国能源部的Perlmutter AI超级计算机于去年夏天作为世界上最快的AI超级计算机亮相，通过6159个Nvidia A100 Tensor Core GPU提供了近四次exaflops的混合精度性能。

到Meta的RSC完成时，InfiniBand网络结构将连接16000个GPU作为端点，使其成为迄今为止部署的最大此类网络之一。此外，Meta还设计了一个缓存和存储系统，可提供16 TB/s 的训练数据。该公司计划将其扩展到1 EB——这相当于36000年的高质量视频。

RSC正在取代Meta在2017年设计的传统基础设施，该基础设施在单个集群中拥有22000个Nvidia V100 Tensor Core GPU，每天执行35000个训练作业。RSC的早期基准测试表明，它运行计算机视觉工作流程的速度比旧系统快20倍，运行Nvidia集体通信库（NCCL）的速度快9倍以上，训练大规模NLP模型的速度快3倍。

虽然Meta之前的AI研究基础设施仅使用开源和其他公开可用的数据集，但RSC包括隐私和安全控制，允许它使用来自Meta生产系统的真实数据来教授模型。

RSC 利用在训练之前解密的加密用户生成的数据。该系统没有与互联网的直接入站或出站连接，流量只能从Meta的生产数据中心流出。从Meta存储系统到GPU的整个数据路径都是端到端加密的。在将数据导入 RSC 之前，它必须经过隐私审查过程，以确认其已正确匿名化。然后对数据进行加密，然后才能用于训练AI模型，并定期删除解密密钥，以确保旧数据仍然无法访问。

中国软件网认为，在AID超大模型训练中，超级计算正在发挥重要的作用，很多超大模型训练，都利用了AI超级计算机。

去年8月20日，特斯拉在其AI Day中就发布了拥有超强算力、多项业内第一的AI超级计算机Dojo。Dojo利用特斯拉自研D1芯片，该芯片基于7纳米工艺打造，晶体管数量达到500亿个。特斯拉推出的Dojo模型由120个训练模块构成，它内置3000个D1芯片，超过100万个训练节点，BF16精度下算力1.1EFLOP（10的18次方，exa FLOP），被称为当时是世界上最强算力的人工智能训练计算机。

我们相信，发展通用人工智能的AI超大模型训练中，AI超级计算机的作用将不可忽视。

版权声明：凡本网注明”来源：中国软件网”的所有作品，版权均属于中国软件网或昆仑海比（北京）信息技术有限公司，未经本网书面授权，不得转载、摘编或以其它方式使用上述作品。任何行业、传播媒体转载、摘编中国软件网刊登、发布的产品信息及新闻文章，必须按有关规定向本网站载明的相应著作权人支付报酬并在其网站上注明真实作者和真实出处，且转载、摘编不得超过本网站刊登、转载该信息的范围；未经本网站的明确书面许可，任何人不得复制或在非本网站所属的服务器上做镜像。本网书面授权使用作品的，应在授权范围内使用，并按双方协议注明作品来源。违反上述声明者，昆仑海比（北京）信息技术有限公司将追究其相关法律责任。