數據短缺並非 AI 發展瓶頸
公開文本雖有限,但透過合成數據與算法改進,能讓模型從單位數據獲取更多資訊。
硬體設計重心轉向「推理」專用化
90% 負載已轉向推理,TPU 透過極低精度(如 FP4)與專用架構極大化能源效率。
預訓練與後訓練將趨向交替進行
未來模型將告別分階段訓練,朝向「觀察後實踐、實踐後觀察」的持續交替學習模式發展。
算力飛躍帶來的自主工程革命
若算力增長 100 萬倍,AI 能自主編寫作業系統,將數年工程任務縮短至 5 天。
蒸餾技術是縮小模型差距的魔術
利用大型模型作為導師進行高品質知識轉移,能使輕量化模型性能逼近旗艦模型。
不可靠零件構建可靠系統
揭秘 Google 如何在軟體層面實現容錯能力,應對宇宙射線導致的大規模分佈式系統位元翻轉。
觀眾怎麼看
整理 40 則有效留言信心 高觀眾高度肯定訪談品質與頻道成長,並對 Jeff Dean 提出的算力飛躍願景展開技術討論。
觀眾普遍讚賞頻道內容深度,並對主持人能邀請到業界重量級人物進行高品質對談感到驚艷與支持。
觀眾補充了光子計算、FP4 精度及單用戶模型適配等技術觀點,探討如何實現算力飛躍後的應用。
觀眾希望對「數據」、「知識」等術語有更精確的定義,並好奇大型推論服務如何解決模型循環問題。
部分觀眾認為訪談像技術銷售宣傳,缺乏深入探討,與認為內容精彩且具啟發性的觀點產生分歧。
部分留言對 AI 帶來的隱私破壞與就業影響表示負面看法,與訪談中強調的技術樂觀主義形成對比。
留言樣本多為對主持人的鼓勵,技術討論樣本數較少,觀點可能存在偏差。