記憶體是 AI 推論的真正瓶頸
AI 工作負載正從訓練轉向推論，記憶體頻寬與容量決定了 GPU 是否需要浪費算力重跑 context，是提升效率的關鍵。
EP145 - 記憶體如何成爲 AI 的關鍵瓶頸？| 專訪 美光 資深副總裁 Jeremy Werner 與 Mark Montierth
✓ 這篇在你的庫裡
在摘要庫開啟 →
這部在講什麼訪談
專訪美光（Micron）兩位資深副總裁，探討 AI 運算重心從 GPU 轉向記憶體的趨勢，以及記憶體如何解決 AI 推論與邊緣運算的瓶頸。
適合誰科技投資者、硬體工程師、AI 產業分析師。
核心觀點記憶體在 AI 推論中的核心角色、HBM 與 SSD 的能源優化機制、Edge AI 的未來應用情境。
最值得看3:36 深度解析記憶體對 AI 推論效能的關鍵影響。
論點怎麼成立
主張與佐證意義優先，時間戳用來導航
AI Agent 時代對記憶體層級的要求
代理型 AI 需要保存大量 KV cache；除了最接近 GPU 的 HBM，DRAM 與高效能 SSD 也必須協同工作以支撐長文本（Context Window）。
SSD 在 AI 資料中心的新角色
目前多數 AI 暫離後會重算對話，未來一年內系統將利用 Gen 6 SSD 儲存並 recall 前後文，大幅降低推論成本。
HBM4 的協同設計與系統整合
HBM 已不再是通用商品，美光透過與 GPU 廠商、TSMC 進行「左移（Shift Left）」協同設計，將部分運算卸載至記憶體邏輯層以降低功耗。
企業工作流的全面 Agent 化
AI 將如 30 年前的 Email 般徹底改變企業運作；未來 5-10 年將從線性人力作業，轉變為人類與多個 Agent 並行協作的模式。
時間是半導體擴產的最大障礙
先進晶圓廠（Fab）建設動輒耗資百億美金且需時數年，無法隨需求即時變現，需與合作夥伴進行極長期的產能對賭。
看完可以做什麼
在評估 AI 硬體供應鏈時，將焦點從單一算力指標（Flops）轉向「頻寬功耗比」與「記憶體層級管理能力」。需要留意：資料中心面臨極大的電力供應限制，若記憶體效能提升無法抵銷電力缺口，AI 擴張速度可能受阻。
生成於 2026-07-11
檢舉
早期觀眾反應
整理 2 則有效留言信心 低觀眾對於訪談內容的具體性感到質疑，並關注記憶體在 AI 產業中的定位與競爭觀點。
觀眾認為訪談內容過於抽象，缺乏實際應用場景的說明，僅停留在口號式的概念宣導。
有觀眾提出不同觀點，認為 NAND 的存力才是未來 AI 發展的基礎，與訪談內容形成對照。
目前僅整理 2 則有效留言，反應仍可能改變。