模型权重常驻
参数规模增长后，全部权重放入昂贵的高速内存并不总是经济。HBF 可承担更大的近计算权重容量。
HBF · HIGH BANDWIDTH FLASH
HBF 高带宽闪存：
为 AI 推理增加一个更大的近计算容量层
HBF 不是把普通 SSD 简单变快，也不是对 HBM 的一比一替代。它试图在极高速内存与高容量存储之间，建立更靠近计算、并行度更高、容量可扩展的新数据层级。
COMPUTESRAM-CIM阵列内计算 · 热数据
CAPACITYHBF模型权重 · KV Cache · MoE 专家
STORAGESSD检查点 · 数据集 · 冷数据
01 · DEFINITION
HBF 是什么？
HBF（High Bandwidth Flash，高带宽闪存）是一种面向 AI 推理的新型闪存架构方向：以 NAND Flash 的密度和非易失性为基础，通过高并行数据通路、先进封装与近计算连接，提高大容量数据进入计算单元的效率。
SK hynix 与 Sandisk 将其定位为 HBM 与 SSD 之间的新内存层级。对推理系统而言，关键价值不是单一峰值参数，而是让模型权重、长上下文 KV Cache 与 MoE 专家参数以更合理的成本和功耗靠近计算。
02 · COMPARISON
HBF、HBM 与 SSD 的定位差异
| 维度 | HBM | HBF | SSD |
|---|---|---|---|
| 基础介质 | DRAM | NAND Flash | NAND Flash |
| 核心目标 | 极高带宽、低延迟 | 容量与带宽协同 | 通用高容量存储 |
| 系统位置 | 紧邻加速器 | 靠近计算的容量层 | PCIe/NVMe 存储层 |
| 适合数据 | 最热张量、活跃 KV | 权重、专家参数、温热 KV | 检查点、数据集、冷数据 |
| 关系 | 三者更适合组成分层系统，而不是只选择其中一种。 | ||
03 · AI INFERENCE
HBF 为什么与大模型推理相关？
KV Cache 扩展
长上下文与并发请求推动 KV Cache 持续增长。冷热分层可将最活跃数据保留在高速层，其余放入容量层。
MoE 专家调度
MoE 每次只激活部分专家，却需要容纳完整专家集合。高容量近计算存储有助于降低专家换入换出的距离。
减少数据搬运
把存储、互连、计算和模型联合设计，目标是减少跨层传输造成的时延与能耗，而非只追求单点算力。
REEXEN · MEMORY–PROCESSOR–MODEL
九天睿芯的路径：HBF × SRAM 存算一体
九天睿芯以 SRAM 存算一体作为计算底座，并探索 HBF、TSV、Hybrid Bonding 与系统软件的协同，让容量、带宽和算力围绕真实模型的数据访问模式共同优化。
- HBF：承载更大规模的模型权重、KV Cache 与中间数据
- SRAM-CIM：在阵列内部完成高频计算，降低权重搬运
- 先进互连：缩短存储层与计算层之间的数据路径
- MPM 共生设计：联合优化 Memory、Processor 与 Model
04 · FAQ
关于 HBF 的常见问题
HBF 是什么？
HBF 是 High Bandwidth Flash 的缩写，中文通常译为高带宽闪存。它以 NAND Flash 的高密度、非易失容量为基础，通过更宽的数据通路、堆叠封装和更靠近处理器的系统位置，提高面向 AI 推理的数据供给能力。
HBF 与 HBM 有什么区别？
HBM 基于 DRAM，优势是极高带宽和低延迟，适合承载最热的数据；HBF 基于 NAND Flash，更强调大容量、非易失和成本可扩展性。行业更常把 HBF 视为 HBM 与 SSD 之间的新存储层级，而不是简单替代 HBM。
HBF 与普通 SSD 有什么区别？
普通 SSD 通常通过 PCIe/NVMe 与处理器连接，面向通用块存储；HBF 的目标是把闪存以更高并行度、更短数据路径和更贴近计算的形态接入 AI 系统。具体接口、带宽和封装方式会随产业标准与产品实现而变化。
为什么大模型推理需要 HBF？
大模型推理需要持续读取模型权重、MoE 专家参数，并维护不断增长的 KV Cache。HBF 可作为容量层，与片上 SRAM、HBM/DRAM 和 SSD 协同，通过冷热数据分层减少远距离数据搬运。
九天睿芯如何使用 HBF？
九天睿芯以 SRAM 存算一体为计算底座，探索 HBF、先进垂直互连与系统软件的协同设计，让模型权重、KV Cache 和计算单元处于更短的数据路径中，面向边缘、端云协同和云端大模型推理。
CONTACT · HBF TECHNICAL DISCUSSION
把你的模型、容量与推理需求带给我们
为了更快进入有效讨论，建议同时提供模型参数规模、上下文长度与并发目标，以及当前使用的 HBM、DRAM 或 SSD 容量配置。
商务与技术邮箱info@reexen.com
联系电话+86 755 2692 7076
点击即可复制，不依赖本机邮件客户端。