軟體優化超越規格限制
實測顯示新型晶片即便算力規格較低,在特定 AI 訓練任務中,因軟體架構優化(如 CUDA 優化),表現竟優於舊代旗艦 H100。
Rubin CPX 專攻超長上下文
隨著 Sora 等影像模型普及,Token 需求從文字轉向影像。影像 Token 數是文字的 6-7 倍,新架構專為百萬級別的上下文處理而設計。
記憶體總需求持續攀升
雖然架構分工細化,但 AI 應用從短片走向長片會導致場景更複雜,這將帶動 HBM 與 GDDR 整體需求同步增長而非相互取代。
HBF 定位為記憶體輔助
HBF(High Bandwidth Flash)目前被討論作為 HBM 的輔助,用來存放讀取頻率較低、但體積巨大的「溫冷數據」。
存儲產業價格全面慢延
受惠於伺服器端 Enterprise SSD 需求強勁,加上原廠人為控制產能,導致 DDR4、DDR5 及 NAND Flash 出現排擠效應並全面調漲。