华为与湖北移动完成全国运营商首个 AI 推理加速方案现网测试，长序列 Token 吞吐率提升 372%

据介绍，该测试基于华为 OceanStor A800 存储与昇腾 A3 超节点架构，搭载 UCM (Unified Cache Manager，推理记忆数据管理)，在长序列 AI 推理场景下，实现了 Token 吞吐率最高可提升 372% 的突破性成果。

文章称，随着 AI 应用加速向 Agent（智能体）形态演进，长上下文序列（如代码生成、多轮对话）已成为典型场景，但传统算力卡高带宽内存容量有限，严重制约了 KV Cache 的命中率。华为在 2025 年底重磅推出了 UCM 推理记忆数据管理技术，打破高带宽内存和 DRAM 的容量限制，通过外置存储提供 PB 级的 KV Cache，并对 KV Cache 进行全生命周期的分层管理与调度，不仅在单次对话时大幅扩展上下文窗口，还能在多轮对话中复用历史 KV Cache，避免重复计算。

本次测试在湖北移动现网环境中部署 vLLM-Ascend 框架，针对 MiniMax M2.5、GLM-5.1 等主流大模型，模拟了 8K 至 190K 长序列输入场景。测试结论如下：

• MiniMax M2.5 模型场景下：启用 UCM 后，首 Token 延迟（TTFT）优化 26%~62%，单 NPU 卡 Token 输出效率（TPS）有大幅提升。从不同序列长度分别来看，64K 的序列长度下 TPS 提升 58%，在 128K 序列环境下，TPS 提升 78%。

• GLM-5.1 模型场景下：TTFT 优化幅度达 51%~93%，TPS 提升 56%~372%。其中在 64K 序列长度下，TPS 提升 313%，在 128K 序列环境下，TPS 提升 372%。

华为表示，测试表明，随着上下文长度增加，AI 推理加速方案优势持续放大，有效解决了长序列推理中的 KV Cache 容量瓶颈。