作家：朱堃，中兴通讯云计总策画总工

　　跟着ChatGPT横空出世，东谈主工智能（AI）时候在短期间内呈现“裸露”态势，并成为鞭策社会起首的关键力量。AI时候的等闲应用给咱们的生计和奇迹带来了纷乱的改革，而这一切的背后离不开算力基础要领的支撑。AI稽查任务以及推理当用对算力有着高性能、大范围并行、低时延互联的条款，导致对策动、存储、互联相聚有了不同于通用策动的条款，同期对算力团员的条款也激勉了基础要领经管平台的改进（见图1）。

　　图1 智算中心改进架构

　　AI芯片

　　除了大模子训推有高性能矩阵运算的条款以外，大模子参数目越大对内存容量的需求越大，同期多颗AI芯片间的多数数据交互也带来了对互联总线高带宽、低时延的条款。因此，算力、显存以及互联总线造成了对AI芯片的三大才调条款。

　　算力方面，由于东谈主工智能接收基于多层神经相聚的机器学习时候，需要对多数数据进行矩阵运算，举例矩阵乘法、卷积、激活函数等。传统CPU以复杂数据经过见长，为此将更多的空间让渡给了浪漫单位仁和存单位，策动单位只占25%的空间，一般唯有几十个算术逻辑单位（ALU），处理这些并行化和向量化运算的成果不高。而处理图像和图形相干运算的GPU策动单位占90%的空间，高达几千的ALU符合对密集数据进行并行处理。在2017年后，主流AI芯片厂家发布特意针对矩阵运算加快的AI GPU（GPGPU，general purpose computing on GPU），为大模子稽查提供了更高的策动性能。除硬件以外，GPU厂家频繁会提供相应的迷惑平台（如NVIDIA CUDA），它使得迷惑者约略平直使用GPU进行编程和优化，充分施展GPU的策动才调。

　　显存方面，Transformer类模子参数目按照平均每两年翻240倍的速率增长，与之比较，AI内存容量仅以每两年翻2倍的速率增长，照旧远远不成匹配大模子增长速率。为责罚该问题，内存斡旋寻址的“超等节点”是现在比较可行的决策，如：定制AI服务器，通过高速互联时候组成1个超等节点（包含256颗GPU和256颗CPU），支撑GPU和CPU之间的内存斡旋寻址，内存容量不错晋升230倍。此外，AI芯片内接收策动和存储分辩的冯·诺依曼架构，芯片60%~90%的能量破钞在数据搬移过程中。按照H800的最大功耗700W的60%来估算，数据搬移破钞了420W。为责罚该问题，存算一体时候将内存与策动迷漫交融，幸免数据搬移，大幅晋升了能效。

　　互联总线方面，大模子3D并行拆分后，带来了芯片间数据传输的条款。其中数据传输量最大的张量并行（TP），在传输期间中的占比超90%。有测试数据标明，使用相同数目的服务器稽查GPT-3，接收NVLink比较PCIE，一个Micro-batch在相邻GPU之间的传输期间从246.1ms缩小到 78.7ms，举座稽查期间从40.6天缩小到22.8天，因此互联总线的带宽成为关键。

　　智算存储

　　在大模子迷惑端到端的多个要领中，王人对存储建议了改进需求。具体包括：

　　多元存储：视频、图像、语音等多模态数据集带来块、文献、对象以及大数据等多元存储以及条约互通的条款；

　　海量存储：为保证大模子稽查的精确性，数据集频繁为参数目的2~3倍，在面前大模子从千亿到万亿赶快发展的时期，存储范围是一个遑急的方针；

　　并发高性能：大模子并行稽查场景下，多个稽查节点需要同期读取数据集。在稽查过程中，稽查节点需要定时保存稽查点（checkpoint）以保险系统的断点续训才调。这些读写操作的高性能约略大大晋升大模子稽查的成果。

　　因此，算作智算存储，起首需要提供多元数据存储才调以及块（iSCSI）/文献（NAS）/对象（S3）/大数据（HDFS）多条约互通才调。可通过软硬件抽象调优来晋升性能，硬件加快妙技包括：通过DPU卸载存储接口条约以及去重/压缩/安全等操作，数据按热度自动分级及分区存储；软件调优妙技包括分散式缓存、并行文献探问系统/专有客户端等。同期，接收NFS over RDMA以及GPU平直存储（GDS）时候也约略大大缩小数据探问的时延。

　　无损相聚

　　AI大模子稽查的并行策动特质带来多数通讯支拨，使得相聚成为制约稽查成果的关键身分，无损相聚成为刚需，具体施展为零丢包、高隐隐大带宽、清爽低时延以及超大范围组网。

　　现在的无损相聚条约主要分为英伟达的IB与RoCE两大类。IB相聚最初为高性能策动（HPC）瞎想，具备低蔓延高带宽、SDN化拓扑经管、拓扑组网丰富以及转发成果高的上风，但存在产业链阻滞的问题。RoCE为斡旋承载相聚瞎想，具备高带宽/高弹性组网，对云化服务支撑较好以及生态绽放的上风，是国产化的必选之路。然则在相聚性能和时候熟练度方面不如IB，需要取悦芯片进一步优化时延。

　　传统相聚拥塞和流量浪漫算法端侧和网侧颓唐，相聚仅提供粗颗粒度的拥塞标记信息，很难确保相聚高隐隐满负荷场景下不出现拥塞、丢包以及列队时延。因此需要端网协同终了精确、快速的拥塞浪漫和流量调换算法，进一步强化相聚性能。

　　在相聚拓扑方面，Fat-Tree CLOS和Torus轨谈多平面拓扑为面前两种主流形状，从组网瞎想上责罚相聚拥塞问题。Fat-Tree CLOS相聚基于传统树型相聚增强，接收凹凸行带宽1：1低拘谨比，保险率性两个节点间无攻击旅途；Torus轨谈多平面相聚将不同服务器相通位置GPU取悦到消失组交换机，组成一个轨谈平面。同期，服务器不同位置GPU取悦到不同交换机，造成多个轨谈平面。

　　资源任务调换平台

　　和通用算力资源经管平台通过假造云化时候将资源分发给多个田户不同，智算场景更强调的是算力团员，即在AI任务稽查中，可能同期初始数百个任务和上千个节点。通过任务调换平台，不错将施行的任务与可用资源进行最好匹配，从而最小化任务在部队中恭候的期间长度，最大化任务并行量，获取最优资源哄骗率。现在主流的调换系统有Slurm、Kubernetes两种。

　　Slurm主要应用于HPC场景下的任务调换，照旧被天下范围内的超等策动机（包括河汉等）和策动机群等闲接收；而Kubernetes算作容器编排平台，用于调换以及自动部署、经管和扩张容器化应用。现在Kubernetes和更等闲的容器生态系统缓缓熟练，正在造成一个通用的策动平台和生态系统。

　　在AI任务调换场景下，Slurm和Kubernetes靠近着不同的挑战：深度学习奇迹负载的特征与HPC奇迹负载的特征至极相似，因此不错使用HPC任务调换器Slurm来经管其机器学习集群。然则，Slurm不是围绕容器迷惑的机器学习生态系统的一部分，因此很难将Kubeflow等AI平台集成到此类环境中。此外，Slurm使用较为复杂，神往难度大；另一方面，Kubernetes更易于使用，并与常见的机器学习框架集成，越来越多的企业和学术机构在他们的大模子稽查中使用 Kubernetes。然则使用Kubernetes调换GPU资源时会遭遇资源闲置期间过长，导致的集群平均哄骗率低（约为20%）、资源调换只可整卡调换，不成切分或按照卡的类型调换、不成进行任务列队等问题。

　　部署场景

　　由于基础大模子预稽查、行业大模子精调以及客户场景大模子微调对算力特征及部署位置的条款均不同，取悦运营商算力相聚DC档次化分散的架构，智算中心部署也呈现环节大模子稽查中心、省份训推交融资源池、旯旮训推一体机三级部署模式（见图2）。

　　图2 智算中心档次化部署模式

　　面前，智算照旧成为国度竞争的关键时候方针，运营商肩负着晋升智算关键软硬件时候改进才调及智算基础要领竖立的奇迹。中兴通讯领有从IDC、芯片、服务器、存储、数通等基础要领到资源经管平台的全系列居品，取悦在电信、政企界限的丰富陶冶买球·(中国大陆)APP官方网站，将助力运营商在智算时候改进及竖立中大展宏图。