AI 資料中心 vs. 傳統資料中心：AIDC 規劃與機房建置重點

AI Data Center（AI 資料中心，AIDC）需要配合高密度 GPU 叢集，重新設計單櫃功率、熱排放、設備承重、配電路徑、冷卻方式、網路拓樸與故障域。單純將傳統 IDC 的 CPU 伺服器換成 GPU 伺服器，通常無法滿足完整部署條件。

少量、低密度或氣冷型 GPU 伺服器，可能透過降密度、分散機櫃或局部改造部署。當需求進入多節點訓練、40 kW 以上機櫃，或 100 kW 以上的液冷式 rack-scale 系統，機房就必須用 AIDC 的系統工程方法重新驗證。

AI Data Center（AIDC）是什麼？

AI Data Center 是為高密度 AI 算力設計的資料中心，目的在於讓 GPU 能穩定運作、持續取得資料並具備擴充能力。它會整合高密度電力、散熱、高速網路、儲存與叢集管理；「AI-ready」標籤本身不足以判定是否能承接特定設備。

企業應把「AI-ready」拆成可驗收條件：每櫃可交付多少 kW、可使用何種冷卻、設備與機櫃可承受多少重量、網路與纜線如何佈局，以及設施故障時工作負載會受到什麼影響。

AI 資料中心與傳統資料中心的核心差異

AI Data Center 與傳統 IDC 的核心差異在於設計起點。傳統 IDC 多半先規劃通用機房容量，再放入不同 IT 設備；AIDC 則要先確定 GPU 系統、叢集規模與工作負載，再反推機櫃、電力、散熱、網路、儲存與維運設計。

實際建置時，仍需依所選伺服器、GPU 平台與原廠架構文件確認各項條件。

AIDC 建置前的六個判斷問題

1. 工作負載：訓練、微調、批次推論或線上推論，以及吞吐、延遲與可中斷性。

2. GPU 規模：型號、數量、節點配置與未來擴充需求。

3. 單櫃電力：伺服器、交換器、Storage、CDU 與備援配置的總需求。

4. 冷卻條件：氣側與液側熱負載、水溫、流量、壓差及失效情境。

5. 叢集拓樸：NVLink domain、scale-out fabric、纜線數量與距離。

6. 故障與恢復：電力、冷卻、網路、節點與 Storage 的故障域，以及 Checkpoint 與恢復時間。

KONST 可從這六項需求回推完整建置方案，協助企業比較既有 IDC 改造、AIDC 專區、Colocation 與租用算力，並整理電力、冷卻、機櫃、GPU、網路、Storage、PoC 與驗收範圍。

AIDC 規劃的六個常見誤判

這六種誤判會造成設備買了卻無法上線、改造成本超出預期，或 GPU 投入後無法充分產出。

1. 先買 GPU，再找地方放：設備採購與機房設計應使用同一份需求基準。

2. 只看整棟 MW：還要確認 UPS、busway、PDU 與冷卻能否把容量交付到特定機櫃。

3. 把液冷視為單一方案：direct-to-chip、rear-door 與 immersion 的相容性及維運條件不同。

4. 只用 GPU 張數衡量叢集：互聯、網路、Storage 與軟體配置也會影響完成工作的時間。

5. 只確認機櫃 U 數：重量、深度、母排、管路、纜線與維修動線都可能成為限制。

6. 只設計正常運轉：電力、冷卻、網路與 Checkpoint 應使用同一個故障域模型驗證。

AI 機房的首要瓶頸：電力

機房總電力足夠，不代表 GPU 能順利部署；如果電力無法送到指定機櫃，企業仍可能需要更換配電設備、調整機櫃位置或延後上線。

技術評估要從整棟建築的 MW 容量一路檢查到變電、UPS、PDU、busway、rack PDU 與電源供應器，確認每個 GPU 機櫃都能持續取得具備備援的電力。

以 NVIDIA DGX H100 為例，單台 8U 系統的最大功耗為 10.2 kW，DGX SuperPOD 以每櫃四台為典型配置，單櫃伺服器需求因此達 40.8 kW。GB200 NVL72 的整櫃功耗約為 120 kW；HPE 的 GB300 NVL72 規格則列出 132 kW nominal TDP、約 155 kW EDPp，並建議資料中心 busway 依 192 kW EDPp 規劃。同一個 NVL72 形態跨世代的電力條件不同，配電設計必須綁定確切型號與 OEM 規格。

同樣叫「GPU 叢集」，PCIe 單卡伺服器、8-GPU HGX／DGX 節點與 NVL72 rack-scale 系統的功率密度差異很大，規劃時必須先確定交付形態。

配電評估涵蓋完整供電路徑

高密度 GPU 配電至少要同時檢查以下項目：

• 設備要求的輸入電壓、單相／三相與插接規格
• UPS、PDU、busway、rPDU、斷路器與線材各段容量
• 連續負載降額、功率因數、相位平衡與預留餘量
• N+1 或 2N 備援是否真的延伸到機櫃與設備 PSU
• GPU 負載變化對電力系統與容量管理的影響
• 發電機或 UPS 切換期間，整個分散式工作是否可持續

例如，四台 DGX H100 的高密度機櫃採用 415 VAC、32 A、三相、N+1 配電配置。其他 GPU 系統則需依設備的輸入電壓、PSU 與備援配置另行設計。

高密度 GPU 的冷卻方案

冷卻能力不足會使 GPU 降速、停機或限制未來擴充，即使機房帳面上的總冷量足夠也可能發生。企業應確認冷卻能否真正送達高密度機櫃並持續帶走熱量。

技術上還要檢查風量、壓差、通道與熱交換路徑；任何一項不匹配，都可能形成局部熱點並觸發設備保護。

Uptime Institute 在〈AI and cooling: methods and capacities〉指出，周邊式氣冷搭配最佳化氣流管理時，通常可處理每櫃約 20–25 kW；較舊系統常見能力約為 10–15 kW。液冷何時成為必要沒有適用所有設備的單一門檻，還會受到元件 TDP、部署密度、進氣限制與既有冷卻系統效能影響。

冷卻方式應依設備原廠條件與實際熱分析決定，KONST 可將冷卻系統納入 AIDC 整體規劃，依 GPU 設備條件、單櫃熱負載與既有設施評估氣冷、液冷或混合式方案，並把管路、CDU、漏液偵測、備援與維運責任納入建置範圍。

企業可在以下冷卻路徑中選擇：

DGX GB rack-scale 系統的 CPU 與 GPU 由冷板及機櫃 manifold 液冷，網路與儲存等其他元件仍由風扇氣冷。因此，建置液冷後仍要保留機房氣流與殘餘熱負載規劃。

高密度 GPU 機櫃的設計重點

機櫃有空間不代表 GPU 設備能安全上架與維修；承重、深度、配電或管路不足，都可能增加改造成本並延後部署。高密度 GPU 機櫃必須同時檢查 U 數、設備深度、重量、配電、管路、纜線與維修空間。

以 DGX H100 為例，單台系統為 8U、最大重量 130.45 kg、深度 897.1 mm；NVIDIA 現行 DGX SuperPOD Data Center Design Guide 要求機櫃至少 600 × 1,200 mm、48U。設備上架與抽換也需要 server lift 及安全作業程序。

評估機櫃時至少要確認：

• 靜態與動態承重：機櫃、樓板載重、高架地板與搬運路徑是否都能承受。
• 設備深度與維修空間：滑軌、電源線、光纖、冷卻管與抽換距離是否足夠。
• 配電占用：垂直 rPDU 是否擋住設備、纜線或液冷 manifold。
• 氣流方向：設備進排風方向是否與冷熱通道一致。
• 液冷介面：CDU 放在 rack、row 還是 facility 端；供回水與漏液偵測如何配置。
• 纜線半徑與路徑：高速銅纜與光纖是否會因彎曲、長度或擁塞影響安裝。

因此，既有 IDC 即使還有空機櫃，也可能缺乏可用電力、冷卻與承重；反過來，機房有足夠總電力，也可能因單櫃 busway、PDU 或樓板載重限制而無法集中部署。

GPU 架構決定機房設計

GPU 數量增加，不一定會讓訓練或推論等比例加快；網路與互聯不足時，昂貴的 GPU 會花時間等待資料或其他節點。大型 AI 系統因此必須讓機房配置配合 GPU 連線的頻寬、延遲、距離與故障域。

第一層：單機內的 GPU scale-up

單台 8-GPU 伺服器常透過 NVLink 與 NVSwitch 讓 GPU 交換資料。模型若需要張量平行（Tensor Parallelism）或高頻寬同步，機內拓樸會直接影響效能；選型時應同時比較 GPU 型號、張數與互聯架構。

第二層：機櫃級 rack-scale 架構

GB200／GB300 NVL72 把 18 個 compute tray、9 個 NVLink switch tray、power shelf、bus bar 與液冷元件整合成 72-GPU NVLink domain。整個機櫃由運算、互聯、供電與散熱元件共同構成，需要以完整系統進行規劃。

第三層：跨機櫃 scale-out 網路

多節點 GPU 叢集還需要 InfiniBand 或高速 Ethernet／RoCE 承接 collective communication。NVIDIA 的 H100 SuperPOD 架構同時包含 DGX 系統、InfiniBand、Ethernet、管理節點與 Storage；降低機櫃密度、增加 footprint 時，網路距離與纜線配置也必須一起重算。

這也是 AIDC 不能把設施、IT 與 AI 團隊分開規劃的原因：設施團隊若只看 kW，可能忽略網路距離；網路團隊若只看 port 數，可能忽略交換器功耗與散熱；AI 團隊若只看 GPU 數，則可能在 Storage 或 collective communication 上等待。

高速網路與 Storage 是 AIDC 的必要設計

GPU 只有在持續取得資料並完成同步時才產生有效運算。當資料載入、Checkpoint 寫入或節點間通訊跟不上，GPU 仍在耗電，卻沒有等比例增加完成的工作量。

AI 叢集通常要分開規劃至少三種網路：

• Scale-up fabric：同一伺服器或 rack-scale domain 內的 GPU 互聯
• Scale-out fabric：跨節點／跨機櫃的訓練與推論通訊
• Management／Storage network：帶外管理、映像、資料集、Checkpoint 與服務流量

Storage 評估需要涵蓋容量、順序與隨機讀寫、Aggregate Throughput、Metadata、Checkpoint 寫入、故障恢復，以及多節點同時讀取時的表現。電力與冷卻完成後，網路或 Storage 仍可能限制 GPU 產出；三者必須一起達到工作負載要求。

傳統 IDC 能不能改造成 AI-ready 機房？

傳統 IDC 可以改造，評估時應從設備需求往上游逐段驗證配電、冷卻、承重、空間與網路條件。

較可能適合局部改造的情況包括：

• GPU 數量不大，單機或單櫃即可完成主要工作負載
• 伺服器仍支援氣冷，且可用降低密度或分散機櫃控制熱負載
• 既有 busway、PDU、UPS 與發電機仍有可交付容量
• 樓板載重、搬運動線、機櫃深度與維修空間符合設備要求
• 網路距離與 Storage 可在既有場域內完成驗證
• 擴充期間可接受分區施工與短暫容量限制

以下情況則通常需要專區、大幅改造或新建 AIDC：

• 採用原廠要求 direct-to-chip liquid cooling 的 rack-scale 系統
• 單櫃需求遠高於既有配電與冷卻設計上限
• 多節點工作負載要求固定拓樸、低延遲與大量高速纜線
• 既有場地無法增加 facility water、CDU、管路或漏液偵測
• 樓板載重、電梯、門寬與搬運路徑無法承受整櫃或重型設備
• 未來一至兩個 GPU 世代的功率密度會快速超過現有餘量

企業應根據可交付 GPU 容量、施工中斷、擴充上限、完工時間與完整 TCO，比較既有機房改造與新建方案。

KONST 的 AI Data Center 規劃與建置服務

KONST（康斯特科技）提供 AI 資料中心規劃與建置服務，涵蓋電力與冷卻、機櫃配置、GPU 叢集部署、算力交付及後續維運，適合需要整合機房與運算架構的企業。針對高密度部署，KONST 可規劃單櫃 20 kW 以上的氣冷與液冷方案，並以 ISO 27001:2022 資訊安全管理制度支援營運；交鑰匙 AIDC 專案可依需求規劃 4–6 個月的建置時程。

KONST 的服務同時涵蓋 AIDC 建置、主機代管與算力租賃，讓企業能依場地條件、投入規模與上線需求選擇部署方式。聯繫 KONST，討論適合企業需求的算力部署方案。

聯絡我們，填寫您的資訊與需求，康斯特團隊將在 3 個工作日內聯繫您。

相關產品與服務：AI 算力基礎設施建置

FAQ

AI Data Center 和一般資料中心最大的差別是什麼？

最大的差別是設計順序。AIDC 先依 GPU 系統、叢集拓樸與工作負載決定需求，再反推電力、散熱、機櫃、網路與 Storage；一般資料中心較常以通用 IT 負載規劃容量。

傳統 IDC 完全不能放 GPU 伺服器嗎？

少量或氣冷型 GPU 伺服器仍可能透過降密度、分散機櫃或局部改造部署。是否可行要逐段驗證單櫃配電、冷卻、承重、設備深度、網路與擴充上限。

GPU 機櫃超過多少 kW 一定要液冷？

沒有適用所有設備的單一門檻。液冷需求取決於元件 TDP、伺服器冷卻設計、部署密度、進氣條件與機房散熱能力，應依設備原廠條件與熱分析決定。

AI Data Center 一定需要 NVLink 和 InfiniBand 嗎？

不一定。NVLink／NVSwitch 用於特定 GPU scale-up 架構；跨節點網路可依系統與工作負載採 InfiniBand 或高速 Ethernet／RoCE。單機推論與大型分散式訓練的網路需求不同。

AIDC 應該改造既有機房，還是重新建置？

若既有場地可提供目標單櫃電力、冷卻、承重、管路與網路條件，局部改造可能較快；若採高密度 rack-scale 液冷系統，或既有上游配電與空間無法擴充，專區或新建通常較合理。正式決策應比較可交付容量、施工中斷、擴充上限、時程與 TCO。