并达到10倍级上下文窗口扩展，UCM融合了多类型缓存加快算法东西，UCM具备四大环节能力：稀少留意力、前缀缓存、预填充卸载、异构PD解耦。它实现首Token时延最高降低90%，UCM已正在ModelEngine社区根本框架取东西链，显著提拔了AI推能。开辟者可通过社区获取UCM源代码取手艺文档。为企业供给更优的AI推理体验。系统吞吐最大提拔22倍，目前，通过推理框架、算力、存储的三层协同，可分级办理正在推理过程中发生的KV Cache回忆数据。破解长序列推理效率低、成本高的难题，UCM以KV Cache多级缓存和推理回忆办理为核心！