Meta 公開俄亥俄州 AI 訓練叢集 Prometheus：第一期已訓練完 Muse 模型，目標約 100 萬顆 GPU；訓練中斷次數一年降 99%，一櫃 72 顆 GPU 只排 64 顆上工

趨勢新聞2026 年 10 月 20 日

Meta 工程部落格 10 月 19 日刊出四位作者署名的文章，介紹位在美國俄亥俄州新奧爾巴尼（New Albany）的吉瓦級 AI 訓練叢集 Prometheus。第一期已經完工，用來訓練 Muse 系列基礎模型，包括 Muse Wonder；目前有數十萬顆 GPU 分散在多棟相連的建築，Meta 寫滿載時約 100 萬顆。兩年前這裡還是處理一般網站流量的資料中心。

叢集現在跑兩代 NVIDIA 平台：GB200 NVL72（Meta 代號 Catalina，兩個機櫃一組、合計約 120 kW）與 GB300 NVL72（代號 Clemente，單櫃約 135 kW）；下一代 Vera Rubin NVL72（代號 San Miguel）每櫃超過 170 kW，運算托盤全部液冷。每棟建築的乙太網路後端網路最多串 20,736 顆 GPU，建築之間的匯聚網路距離從 2 公里到 100 多公里。除了自有建築，Meta 也租用合作夥伴的機房容量。

文章花最多篇幅在穩定度。2025 年中 Prometheus 初期，中斷次數最高接近每 8,000 顆 GPU 每天 1,000 次，一年後降了 99%；Meta 的目標是每 8,000 顆每天 2 次，約等於 10 萬 GPU 小時才中斷一次。訓練 Muse Wonder 時，平均每約 4.7 萬 GPU 小時中斷一次，之後的韌體修正提高到 5.4 萬以上；預訓練的有效運算比例（goodput）超過 85%，強化學習超過 90%。GB200 部署初期最大的瓶頸是 NVLink 訊號品質，連線數超過 60 萬條；GB300 加大記憶體後，HBM 與 LPDDR 記憶體錯誤成了中斷的一大來源。

72 顆 GPU 一櫃的設計讓一次故障影響的範圍是過去 8 顆一組的 9 倍。Meta 的做法是每櫃只排 64 顆跑訓練、8 顆留作櫃內備品，另外再備約 2% 的整櫃；以 32,768 顆 GPU 的訓練來算，要準備 523 櫃、37,656 顆。供電方面，同步訓練會讓叢集負載瞬間波動 30% 到 40%，啟動或暫停大型訓練工作幾秒內就移動數十 MW，Meta 用自家的 Dynamo Dimmer 逐步調降 GPU 功率上限，搭配機櫃電池、電容櫃與場區儲能系統吸收。下一座叢集 Hyperion 在路易斯安那州。