【国盛证券】Chatgpt需要多少算力

核心结论

ChatGPT 需要多少算力——国盛证券算力行业深度报告 本报告由国盛证券于2023年2月发布，围绕ChatGPT背后的算力需求展开系统性测算。

关键数据：# ChatGPT 需要多少算力——国盛证券算力行业深度报告 本报告由国盛证券于2023年2月发布，围绕ChatGPT背后的算力需求展开系统性测算。

核心数据表

AI 结构化摘要

ChatGPT 需要多少算力——国盛证券算力行业深度报告

本报告由国盛证券于2023年2月发布，围绕ChatGPT背后的算力需求展开系统性测算。报告从ChatGPT的用户规模与访问量出发，结合NVIDIA DGX A100服务器的硬件参数，推算出支撑ChatGPT推理服务所需的GPU数量、服务器台数及电力成本，并进一步拆解GPT-3等大语言模型（LLM）的训练算力成本。报告旨在量化AI大模型对算力基础设施的刚性需求，为AI算力产业链的投资判断提供数据支撑。

算力需求测算框架

• 以Similarweb统计的ChatGPT访问量（2023年1月约1300万日活用户）为需求起点，结合每用户平均请求量与单次请求的推理计算量，构建端到端算力需求模型。
• 核心假设包括：单次请求平均处理350ms、每请求涉及约1000个token的推理计算，以及A100 GPU的峰值算力（5 PetaFLOP/s）与利用率假设。
• 测算得出支撑ChatGPT推理需约30,382块A100 GPU，折合3,798台DGX A100服务器（每台8卡），对应约542套DGX A100整机系统。

推理成本与电力消耗

• 基于542套DGX A100系统，按每套45.5kW功耗、24小时连续运行计算，每日耗电量约591,864 kWh。
• 参考Hashrate Index披露的2021-2022年美国工业电价（约0.08美元/kWh），ChatGPT单日推理电力成本约4.7万美元，年化电力支出约1,700万美元。
• 报告同时对比了美国各州电价差异，佐治亚州、纽约州等电价较高，而华盛顿州、俄克拉荷马州等相对低廉，提示算力中心选址对运营成本的重要影响。

大模型训练算力成本

• 引用OneFlow数据，GPT-3（175B参数）训练所需算力约3,140 ExaFLOPs，按46.2%的FLOPS利用率折算，实际计算量约为6N（N为模型参数量）×训练token数。
• 在GCP TPU v4集群（每台4卡、单卡峰值275T FLOPS）上训练GPT-3，每千token训练成本约0.0047美元，总训练成本约140万美元。
• 对比其他主流LLM：Gopher（280B）训练成本约224万美元，MT-NLG（530B）约381万美元，PaLM（540B）约1,122万美元，显示模型规模与训练成本呈超线性增长关系。

算力基础设施与产业趋势

• 报告指出，AI大模型对算力的需求正从训练侧向推理侧延伸，ChatGPT的持续运营将形成对GPU算力的长期刚性占用，而非一次性训练投入。
• 结合IDC数据，AI服务器市场在NLP等应用驱动下持续扩容，GPU算力成为AI产业化的核心瓶颈与战略资源。
• 报告认为，算力需求的指数级增长将带动AI芯片、服务器、IDC机房、电力配套等全产业链的投资机会。

关键结论

1. 支撑ChatGPT推理服务需约3万块A100 GPU，对应近4,000台DGX A100服务器，算力需求规模远超市场此前预期。
2. ChatGPT单日推理电力成本约4.7万美元，年化超1,700万美元，电力成本将成为AI推理服务长期运营的重要开支项。
3. 训练GPT-3级大模型的成本在百万美元量级，而PaLM等更大规模模型的训练成本已突破千万美元，大模型军备竞赛将持续推高算力投入。
4. AI算力需求正从训练主导转向训练+推理双轮驱动，推理算力将成为更持续、更庞大的增量市场。
5. 算力产业链（GPU芯片、AI服务器、IDC、电力配套）将充分受益于AI大模型产业化进程，具备长期投资价值。

常见问题