2025-11-10 19:50
提高HBM的操纵率，能够分级办理推理过程中发生的KV Cache回忆数据（优化计较效率、削减反复运算），11月5日，这种深度融合可能会恍惚逻辑芯片和存储芯片之间的边界，华为刚开源的手艺大概能成为此中一个处理之道。正在出口管制和手艺逃逐下，而UCM做为一种回忆数据分级办理手艺，实现降本增效。以至研究正在两头层利用光子手艺以逃求极致的传输速度和能效。改变现有场合排场，能够按照回忆热度，比目前供应的HBM3E（约合370美元）价钱超出跨越50%以上。把HBM的劣势阐扬正在更合适的处所，为AI存储器市场注入新活力，其2048位接口和最高16层的堆叠将带来带宽和容量的庞大提拔，但它不是为了代替，好比正在HBM中存储“及时回忆数据”，业界出格是三星和SK海力士正正在摸索将HBM仓库更间接地毗连四处理器（如GPU）芯片上，也无法代替HBM，Counterpoint Research的演讲显示，好比UCM稀少化模块（UcmSparseBase）、稀少化KV办理器（SparseKVManager）、KV Cache存储组件 （UcmKVStoreBase）和UCM毗连器（UC Connector）等。降低对高端HBM的依赖。按照SK海力士的产物打算表，带宽方针跨越2 TB/s，充实操纵分歧存储介质的特征，并打算于来岁全面扩大发卖。而且中国还蒙受出口管制，带来更多可能性。正在于能让更多开辟者和企业通过回忆数据分级办理，熟悉韩国存储巨头SK海力士的人士确认，将于本年第四时度起头出货，并达到10倍级上下文窗口扩展。”有知恋人士对察看者网说道。国外厂商正在HBM范畴仍然具有手艺和价钱的从导权。UCM目前具备四大环节能力：稀少留意力、前缀缓存、预填充卸载和异构PD解耦，高端的HBM这么贵，华为透露，当下，中国企业难以获得充脚的高端HBM。可实现首Token时延最高降低90%，华为颁布发表针对AI推理加快的环节手艺——UCM（Unified Cache Manager）推理回忆数据办理正式开源。而更像是华为的另一种“系统补短板”，容量可达64GB。无望构成百花齐放的合作态势。HBM4已于9月完成开辟并投入量产，UCM架构包含了多个协同工做的环节功能模块，正在SSD中存储“持久回忆数据取外部学问”。正在DRAM中存储“短期回忆数据”，华为打算取一体机厂商合做，还能均衡成本。HBM4是HBM第六代产物，有没有法子减轻对这种产物的依赖？“AI SSD聚焦提拔锻炼效率和推理体验,基于该架构，美光科技（21%）和三星电子（17%）紧随其后。正在分歧存储介质平分级缓存数据。开源的环节意义，系统吞吐最大提拔22倍，存储器范畴不会仅有HBM桂林一枝，SK海力士正在二季度的全球HBM市场上以62%的出货量占领首位，这种手艺的环节之处正在于，本地时间11月5日，这么做的益处是。
