上海电信打造全国最大运营商级智算中心.pdf

运营商动态上海电信打造全国最大运营商级智算中心文郝俊慧钱立富1月2 2 日，新年伊始，上海电信宣布，即日起正式推出“大规模算力集群暨人工智能公共算力服务平台”。“这将是全国规模最大的运营商级智算中心。”上海电信总经理龚勃表示。当天点亮的算力集群规模达150 0 0 卡，其中包括全国首个单池万卡规模的国产液冷算力集群。笔者独家获悉，该算力集群采用华为昇腾新一代AI芯片，且在技术架构上实现了创新突破，全部采用液冷散热方案，是目前规模最大、单池训练能力最高的国产液冷智算中心。同日，上海电信发布一系列人工智能公共算力服务产品。2 0 2 2 年7 月，上海电信在全国电信运营商中率先发布公共算力服务，如今时隔一年半，随着大模型风暴的兴起，全社会算力需求进一步井喷，此次产品和服务更新，即是上海电信进一步提供普惠算力的重要举措，也是上海电信在公共算力服务领域发展的重要里程碑。随着全球一步迈入AI时代，上海正在书写新的“模都进化史”，作为上海新一代智能信息基础设施的建设主力军，继打造“全城上云”的“智云上海”之后，上海电信为城市AI更新迭代和大模型产业生态升级打造的多元一体化智算承载底座，进一步推动上海向“全城AI”进化。发布会由上海电信联合徐汇区政府共同举行。当日，“双万兆接入暨一跳入算服务”在徐汇区大模型专业孵化和加速载体一一“模速空间”正式启用。多项创新打破算力焦虑当算力成为国力之争的核心资源，国产算力的技术和能力突破被大众所瞩目。“我们希望算力不再被卡脖子。”发布会上，复旦大学附属中山医院信智部主任助理兼规划与管理中心主任钱琨透露，受限于国产化需求和英伟达芯片限售，目前很多基于国外算力和生态的大模型无法在医院适配落地，这让她对上海电信当天点亮的国产万卡大规模算力集群非常期待。发布会上透露的消息是，2 0 2 4 年上半年，中国电信将在上海规划建设到达15000卡，总算力超4 50 0 P。其中，单池38运营商动态新建国产算力达10 0 0 0 卡，是首个支持单池万卡的国产超大规模算力液冷集群。此轮由ChatGPT引发的大模型风暴，与往常人工智能训练模式最大不同在于，超海量参数数据的并行计算，也就是将多个服务器连接成一台“超级计算机”，甚至要在算力卡间完成直联。然而，在万卡级别的算力集群上同时训练和推理数据，对软件规划、资源调度挑战非常大，尤其是发展时日尚短的国产大规模算力集群和智算中心，并没有太多经验可循。“此次上海电信打造的万卡规模国产算力集群，采用网络中置、算力分层的魔方型网络布局，实现了单池万卡集群的架构创新，而且全部采用液冷散热，是目前全国规模最大的国产液冷机房。”一位业内人士告诉笔者，无论是算力集群架构，还是机房建设水平，上海电信此次发布的国产万卡液冷AIDC，在多项技术指标和创新突破方面都是全国第一。公开消息显示，2 0 2 3年6 月，华为昇腾算力训练集群可支持8 0 0 0 卡。2 0 2 3年7 月，世界人工智能大会上，华为宣布，计划2 0 2 3年年底或者2 0 2 4 年年初，做到超过16 0 0 0 张卡的集群，如今看来，计划按时完成。普惠算力“随时用，用得起”2023年3月，此轮人工智能刚“起蓬头”，张家庆和合作伙伴便毅然离职，奔入大模型创业浪潮中，创办开放传神公司，致力于大模型生态社区建设，为大模型在垂直行业的应用提供工具平台和解决方案。“创业不久，我们就发现算力成本真的很高。”如今担任开放传神联合创始人的张家庆告诉笔者，为了更快使用模型构建应用，最初开放传神采用了AWS海外的云算力和国内某大厂算力，但成本始终居高不下，“短期来看，算力成本在整个大模型产业链中仍是瓶颈”。构建普惠的算力体系，不仅要让算力像水电一样随取随用，而且要让全社会都“用得起”，是近两年来从国家到地方出台一系列算力优惠政策的愿景。2022年，上海电信率先宣布向社会提供公共算力服务，成为国内首个推出此服务的电信运营商。经过一年半的持续建上海电信打造全国最大运营商级智算中心。摄影/费锋39运营商动态设和升级，此次发布会上，上海电信再次宣布推出一系列“人工智能公共算力服务产品”，包括智算产品、弹性算网、算力调度平台和行业大模型等，从算力供给、算力输送、算力调度到模型训练及推理应用，为大模型企业提供一站式服务。通过在云端租赁算力，企业大幅减少了本地IT设备投入，降低了使用算力的门槛。同时，为了让企业获得性价比更高的算力资源，此次推出的“息壤一全国算力一体化调度平台”，可以同时联通全国的“弹性算力网络”，不仅大幅提高了大六大云商8 7 根中继节点，覆盖头部云商模型训练效率，而且可以让大模型企业根在全国的所有资源池。据业务实际需求，自由伸缩算力带宽，降从现场演示可见，当用户提出一个云低带宽成本。染的算力需求时，平台显示，天翼云雅平日里，弹性算网可为企业提供基础安、天翼云扬州等地的资源池有不同算力速率，一旦出现突发性任务、周期性作业配置和价格，用户可以根据时延和价格按急需大带宽传输，当天即可发起动态提速。需购买。例如，在10 0 Mbps带宽下，10 TB数据需“我们接触过很多算力服务商，但10天才能完成传输，通过弹性算力网络”能够提供一站式服务的供应商非常少，上升速后，仅需2 小时便可完成传输，且企海电信在这方面有整体优势。”张家庆告业只需支付2 小时费用，极大降低了算网诉记者，2 0 2 3年9月，开放传神入驻上使用成本。海市徐汇区重点打造的全国首个大模型专上海电信资深经理张慷介绍：“这张业孵化和加速载体“模速空间”，并陆弹性算网目前已覆盖全国31个省市自治续将服务从国外云商迁移至上海电信的区，连接六大云商，计费最小颗粒度低至AIDC“在不改变原先计算负载的情况下，1小时，平均可以为用户降低50%的运营整体成本降低了6 0%”成本。”此外，上海电信基于在全球率先建成弹性算网百公里“一跳入算”的50 G-PON全光万兆城市数字底座，正在要想算力“无所不在”，成为像水、逐步打造普惠易用、绿色安全的综合算力基电一样的普惠大众、随取随用的公共基础础设施体系，并在今年初率先实现了百公里资源和服务，除了充沛的算力资源，还必1ms时延的“一跳入算”，也就是说，从上须要有“无所不达”的算网，满足不同对海徐汇区的模速空间到临港中国电信智算象对算力的多元化需求，比如在精度、时中心，入驻企业可在一毫秒内连接到达。延、带宽方面存在的差异性。而根据不久前由国家发改委、国家数尤其随着大模型参数的指数级上升，据局等五部门联合印发的关于深入实施人工智能企业对于网络的要求越来越高，“东数西算”工程加快构建全国一体化“超大规模、超高带宽、超强可靠、超低算力网的实施意见的要求，1ms时延城时延和丢包率，”一位大模型专家告诉记市算力网、5ms时延区域算力网、2 0 ms者，大模型时代，电信运营商面临更为严时延跨国家枢纽节点算力网在示范区域内苛的网络要求，但出于成本考量，企业又初步实现的时间节点是2 0 2 5年底，上海不可能为此承担过高的网络带宽成本，因再次跑在了全国规划的前面。40此对弹性算网的需求便显得尤为迫切。开放传神便曾遇到过这样的窘境，作为一家大模型创业公司，它有时候会集中上传一批模型和数据，并为客户提供模型托管服务，但由于数据量巨大，这个过程往往需要数天时间。“最近，我们正在和上海电信测试一跳入算，预计未来传输时间从以天为单位可缩短为以小时为单位。”张家庆所言的“一跳入算”，和上海电信此次重点发布