AI 產業學習地圖 03｜AI 算力與晶片

AI 的核心不是「會聊天」，而是大量矩陣運算；誰能更快、更省電、更大量地完成這些運算，誰就掌握 AI 時代的基礎設施。

什麼是 AI 算力？

AI 模型在做兩件大事：

第一，訓練 Training。
把大量資料丟進模型，讓模型調整參數。這很像「讓學生讀很多書、做很多題目」。訓練需要極大量算力、記憶體頻寬、資料傳輸能力。

第二，推論 Inference。
模型已經訓練好，使用者問問題，模型即時回答。這很像「考試時現場作答」。以前市場最重視訓練，但現在 AI 使用量暴增後，推論算力也變成長期大商機。NVIDIA 的 GB200 NVL72 就是針對大型語言模型訓練與即時推論設計，官方資料提到它用 36 顆 Grace CPU、72 顆 Blackwell GPU 組成液冷機櫃，透過 NVLink 讓 72 顆 GPU 像一個巨大 GPU 一樣工作，主打大型模型即時推論效能。

---

為什麼 AI 需要 GPU，不是只用 CPU？

CPU 像是「很聰明的主管」，擅長處理複雜、分支多、任務不同的事情。
GPU 像是「大量工人排成一排」，擅長同時做很多重複運算。

AI 模型的底層大量使用矩陣乘法，也就是一堆數字同時相乘、相加。這種工作非常適合 GPU。

這也是為什麼 AI 算力不只是「買一顆晶片」，而是整個系統：GPU、CPU、HBM、網通、先進封裝、電源、散熱、機櫃都要一起升級。

理理Coco 的投資觀念筆記
Coco’s Investment Notes｜小資也能懂的投資世界，用筆記陪你一起理出財富邏輯。

免責聲明｜Disclaimer
RDpapa網站與「理理Coco 的投資觀念筆記」（Coco’s Investment Notes） 所提供之所有內容，僅供學習與交流之用，並不構成任何形式之投資建議或買賣標的之推薦。
本網站所整理或分享的觀念、資料與市場資訊，來自公開資訊、第三方資料平台及作者個人學習經驗，已盡力求正確與更新，但無法保證其即時性與完整性。使用者應依自身判斷與風險承受能力，自行做出投資決策，並自負盈虧。
網站內容包含但不限於：產業分析、個股追蹤、技術分析、每日股市行情觀察、AI 與機器人相關概念股資訊等，均為個人觀點與學習筆記之整理，非為財務顧問、證券分析師或持牌專業人員提供之建議。
使用本網站即表示您已理解並同意上述聲明。如需投資建議，請諮詢合格之財務顧問或投資顧問。