想象一台半深、单插槽的服务器,被固定在40°C的杂货店冰柜上方。它安静地运行着,一个小型GPU正在实时处理多模态提示。这就是实际的边缘场景:共享几百瓦的功率、鞋盒大小的占地面积,以及几乎没有**气流。在这种环境下,决定推理是否流畅的是存储,而非计算。
这种边缘瓶颈以特定方式显现:严格的功率限制、狭窄的空间、温暖的环境空气以及快速增长的模型文件。来自Antillion的可穿戴服务器、 科技的牲畜基因组学平台和PEAK:AIO的内部AI集群的实地结果均表明,用 **的Solidigm产品取代传统的SSD或硬盘存储层,可以缩小占地面积、大幅降低功耗,并确保GPU数据供给。 无论应用场景是门店诊所、工业场地还是乡村变电站,正确的存储选择都能将苛刻的边缘计算转化为可衡量的性能裕量。
为何边缘比核心更难
云数据中心大厅中的一个超大规模机柜可以消耗超过10千瓦的电力,并置于一排排冷却器之下。相比之下,一个边缘节点可能被塞进杂物间或杆式机柜中,每一瓦特、每立方英寸和每一度温度都至关重要。许多专用边缘服务器配备的电源额定功率仅为200瓦至300瓦,这个上限必须覆盖CPU、GPU、网络和存储。核心机柜现在平均约为12千瓦,并且对于AI集群正朝着更高功率发展,其性能 裕 量比边缘所能期望的高出一个数量级。
空间 同样受 限。 一个短深的 1U 机箱可能只提供两个2.5英寸驱动器托架和一对E1.S驱动器插槽,因此每个系统的容量直接限制了本地模型和数据集的大小。由于很少有空闲插槽,后续扩展通常意味着**的硬件升级,而非简单的驱动器更换。因此,从一开始就确定合适的容量对于性能 裕 量和****率都至关重要。
散热条件也很苛刻。 坚固耐用的边缘系统(如联想的ThinkEdge SE450)经认证可在高达45 ℃ 的进 风 温度下持续运行,远高于大多数数据中心冷通道的30 ℃ 目标温度。在这种空气中,**消耗10瓦或更多功率的驱动器都可能使小型机箱超出规格限制。为了满足门店、诊所和零售楼面的噪音限制,风扇必须低速运转,因此每个组件都必须自行有效散热。
带宽也无法弥补差距。 云服务器从PB级存储架构流式传输数据,而边缘设备通常依赖 单一的1 GbE线路或共享的5G链路。因此,模型、嵌入、视频缓冲区和日志必须存放在离GPU几英寸远的地方,而不是几英里之外。现场服务调用不频繁,因此驱动器必须能在无需维护的情况下稳定运行多年。
这些综合限制改写了存储清单。边缘构建者需要容量堪比云端、却能装进一两个E1.S驱动器插槽的存储,需要能够承受突发传感器流量且功耗仅几瓦的写入耐用性,以及需要即使机箱空气温度超过40度也能让GPU保持忙碌的读取速度。
性能与容量:工作负载优先的设计
一些边缘工作负载的成败取决于性能。实时视频分析、实时基因组匹配和快速检索增强生成需要每秒数十GB的持续读取带宽和微秒级延迟。其他应用,包括自动驾驶汽车数据采集或现场合规性日志记录,则更看重容量,以便保留数周或数月的上下文数据。无论何种组合,设计人员仍然必须在同样紧张的功率预算和狭窄的机箱空间内进行设计。
效率的艺术在于选择符合实际流量模式的耐用性、吞吐量和密度,同时为CPU、GPU和网络留出足够的热 裕 量。
均衡边缘架构剖析
大多数成功的设计采用分层存储,使每一层都能发挥其优势。
写入突发缓存层 - 吸收无序的 输入 流量,避免过早磨损。
工作层 - 以可预测的吞吐量和延迟为加速器提供数据。
容量层 - 存放上下文文件,同时在空闲时保持低功耗。
由于每一层都根据其实际工作负载进行容量规划,一个采用Solidigm SSD的代表性存储堆栈可以占用少于八个驱动器托架,功耗低于60瓦,并能应对40 ℃ 出头的环境温度。相同的模式可用于诊所实时 DICOM图像 输入 、筛选门店零售视频,或存档一年的变电站波形数据,而不会使机 柜 过热。
经济效益强化了这一设计。用三个Solidigm高容量NVMe SSD替换十几个低容量驱动器,可以将驱动器数量减少75%,大致减少150瓦的热量,并将存储成本降低约25%。这些节省下来的 功耗 和插槽可以 为增加额外GPU、更快网卡或 更安静风扇的 提供 空间 。
来自实地部署的经验教训
Antillion 首批响应者
Antillion 制造微型边缘计算机,供现场工作人员佩戴在背心上。 早期版本依赖2.5英寸SATA SSD,限制了容量和吞吐量。该公司用来自高性能 的 Solidigm D7系列产品家族的 E1.S NVMe SSD替换了这些磁盘。这一更换使高分辨率视频和传感 器 数据 的流 媒体 带宽增加了一倍以上,软件部署期间的系统构建时间缩短了约30%,并且在数百台设备出货后,现场驱动器故障率为零。创新的Solidigm E1.S驱动器让Pace A2战术节点能够承载大型数据集而无需增加重量,证明坚固的边缘设备不再需要在容量和尺寸之间进行权衡。 如需详细了解我们与 Antillion 的合作,请阅读这篇文章: 。
正睿科技牲畜基因组学
在四川, 科技运行一个畜牧业分析平台,用于摄取基因组序列、表型图像和环境遥测数据 。一台装满24个Solidigm D5-P5336高容量驱动器的 2U 服务器现在拥有大约700TB的容量,并可持续提供约100万随机IOPS。从混合HDD和低容量SSD存储转向全高容 量Soli digm SSD配置,将机架空间和存储功耗降低了79%,这 为额外的GPU释放了预算和热余量,用于在现场训练疾病预测和育种价值模型。 要了解更多关于我们与正睿科技合作的信息,请点击查看本文:
PEAK:AIO 研究集群
PEAK:AIO与戴尔合作构建了一台 2U 的AI数据服务器,通过NVIDIA ConnectX-7 网卡 提供 120 GB /s 的吞吐量。 该系统通过在所有24个NVMe托架中 安装 Solidigm 61.44TB高容量SSD来达到此速度,在足够卫星实验室和地区诊所使用的机箱中提供1.5PB的容量。在功率预算研究中,相同的方法在50兆瓦数据中心模型中显示了节省10到20兆瓦的**,这一 裕 量让运营商可以增加约50%的GPU容量,而无需提高站点的总功耗。 了解我们与 PEAK:AIO 合作的更多信息,请参阅本文:
综上所述,这些部署证实了这一模式。当存储密度提高且每TB功耗下降时,边缘服务器得以缩小,运营成本下降,加速器也能保持忙碌而非等待数据。
将Solidigm产品组合与边缘需求对应
下表说明了三种驱动器选项如何与功率受限的边缘服务器内的缓存、工作和容量角色相匹配。
一个实用的布局是:搭配几个缓存层SSD来处理 输入 峰值,一 组 PCI e Gen5性能层SSD来处理活跃数据集,以及一两个高容量SSD来存放上下文数据。将耐用性与写入压力相匹配、带宽与加速器需求相匹配、密度与保留需求相匹配,可以将边缘限制转化为回旋余地。通过部署合适的Solidigm存储层,云级AI可以存在于门店、工厂车间或乡村馈线旁边,而无需耗费完整的数据中心预算。
结论:存储作成为边缘的赋能者
边缘计算将AI推入了原本为路由器和保险盒设计的空间。在这些狭窄的空间里,您选择的闪存决定了有多少数据能够到达GPU、机箱的运行温度有多低,以及****的速度有多快。现场部署显示了一个可重复的模式:
Antillion的战术装备、正 睿 科技的牲畜基因组学集群和PEAK:AIO的研究服务器都遵循了这一模式,并记录了更小的占地面积、更低的能耗以及更稳定的加速器利用率。
需求只会不断增长。模型持续扩展,多模态推理拓宽了访问模式,分析堆栈驱动了更深的读取突发。因此,存储必须同时沿着三个方向增长: 每个插槽的 存储容量 更多、进入GPU内存的通道更快,以及更智能的分层以适应不断变化的工作负载。
Solidigm创新、市场**的技术路线图已经朝着这个方向迈进,包括支持液冷冷板的E1.S SSD、全速PCIe Gen5通道以及旨在实现近设备数据缩减的固件。随着这些功能的成熟,更重的AI管道可以离开数据中心,在传感器所在的位置运行。
关于作者
Jeff Harthorn 是 Solidigm 的 AI 数据基础设施市场分析师。Jeff 在解决方案架构、产品规划和市场营销方面拥有实践经验。他负责制定公司AI信息传递,包括关于液冷E1.S SSD的竞争性研究,将*客级别的细节转化为为客户和合作伙伴提供的清晰业务价值。Jeff 拥有加州州立大学萨克拉门托分校的计算机工程理学学士学位。
关于 Solidigm
Solidi gm 是企业数据存储领域的***。凭借数十年的产品领导力和技术创新力, Solidigm 正 与客户携手推动业务转型,共同迈向以数据为中心的未来。 Solidigm 在打造创新产品和助力客户成功等领域处于长期**地位,借助从核心数据中心到边缘的强大端到端 产品,为 AI 等前沿领域的发展提供有力支持。 Solidigm 是 SK 海力士的独立子公司,总部位于美国加州兰乔科尔多瓦,业务遍及全球。如欲了解有关 Solidigm 的更多信息,请访问 [ https://solidigm.com ] ,或关注微信公众号 [SolidigmChina] 。
*文中涉及的其他名称及商标属于各自所有者资产
向上滑动阅览
∨
本文提及的所有产品、计算机系统、日期和数据都是基于当前预期的初步设计,如有更改,恕不另行通知。
硬件、软件或配置上的差异会影响实际性能。
Solidigm 对非 Solidigm 产品的优化可能无法达到对 Solidigm 编译器或其他产品的优化程度。
Solidigm 技术可能需要启用硬件、软件或服务激活。
本文中的**内容均不构成**明示或默示的**。
本文档中描述的产品可能会存在如 “ 勘误表 ” 类的设计缺陷或微小误差,这可能会导致实际规格偏离上文描述。**情况可承索提供。
在不同情况下,您的成本和结果可能会不同。科汇科技 与solidigm 没有**关联,仅使用过solidigm产品,本文仅供学习使用。
© Solidigm. "Solidigm" 是 SK hynix NAND Product Solutions Corp (d/b/a Solidigm) 的商标。其他名称和品牌可能属于他方资产。
欢迎扫码关注我们