号称史上最强AI的ChatGPT知道自己每天排放多少二氧化碳吗？一番沟通后，华尔街见闻得到了否定的答案。看来暂时只能由人脑来替它回答了。环球零碳研究中心研究员唐淑姝告诉华尔街见闻，如果粗略合算ChatGPT的总生命周期碳足迹，自2022年11月30日运行60余天来，其制造设备碳排放超过33.41吨，模型训练碳排放超过552吨，运行60天碳排放约为229.2吨；三者相加，ChatGPT上线后的碳排放超过814.61吨。
要想从大气中吸收这些二氧化碳，相当于需要栽种超过6.5万棵树。
虽然“虚拟”的属性让人们容易忽视数字产品的碳账本，但事实上，互联网却无疑是地球上最大的煤炭动力机器之一。
训练机器成碳排“大户”
聊天机器人、数字助理以及来自流媒体服务的电影和音乐推荐都依赖于“深度学习”——一种训练计算机模型以识别数据模式的过程。
这种训练需要强大的计算机和大量的能量支撑。对于ChatGPT全生命周期的碳足迹数据，这个阶段是名副其实的排放大户。
最精细的深度学习模型之一，目标就是产生类似人类的语言。在ChatGPT问世前，OpenAI公司先开发了一套复杂的自然语言模型，命名为GPT-3。ChatGPT和GPT-3都是在大量文本数据上训练而成的，允许它们对文本输入产生类似人类的响应，但由于后者专门为会话任务而设计，GPT-3则更通用一些，所以参数库要小100多倍。
“ChatGPT是基于GPT-3的一个升级版本，在GPT-3的模型架构基础上又进行了优化并在训练时期增加了强化学习。”唐淑姝对华尔街见闻分析，“所以要估算ChatGPT在训练阶段的碳排，可以参考GPT-3的排放值。”
有数据显示，当时训练GPT-3消耗了1287MWh，排放出552吨温室气体。
“GPT-3的大量排放可以部分解释为它是在较旧、效率较低的硬件上进行训练的，但因为没有衡量二氧化碳排放量的标准化方法，这些数字是基于估计，另外，这部分碳排放值中具体有多少应该分配给训练ChatGPT，标准也是比较模糊的，需要注意的是，由于强化学习本身还需要额外消耗电力，所以ChatGPT在模型训练阶段所产生的的碳排放应该大于这个数值。”可持续数据研究者卡斯帕-路德维格森如是分析。
仅以552吨排放量计算，这些相当于126个丹麦家庭每年消耗的能量。
运行阶段的碳成本
用户在操作ChatGPT时的动作耗电量很小，但由于全球每天可能发生十亿次，累积之下使其成为了第二大碳排放来源。
唐淑姝对华尔街见闻表示，可以将另一个大型语言模型BLOOM作为类比来推测ChatGPT运行阶段的碳排放。BLOOM曾在具有16个NVIDIAA10040GBGPU的GoogleCloudPlatform实例上部署并运行了18天，共432小时。
“BLOOM与ChatGPT前身GPT-3的模型大小大致相同，假设把相同的硬件用于ChatGPT，并在16个NVIDIAA10040GBGPU上运行，并推测硬件利用率始终为100%，”唐淑姝通过使用MLCO2Impact计算机，估算出ChatGPT的每日碳排放为25.92kg。
Databoxer联合创始人克里斯·波顿则解释了另一种计算方法。
“首先，我们估计每个响应词在A100GPU上需要0.35秒，假设有100万用户，每个用户有10个问题，产生了10000000个响应和每天300000000个单词，每个单词0.35秒，可以计算得出每天A100GPU运行了29167个小时。”
CloudCarbonFootprint列出了Azure数据中心中A100GPU的最低功耗46W和最高407W，由于很可能没有多少ChatGPT处理器处于闲置状态，以该范围的顶端消耗计算，每天的电力能耗将达到11870kWh。
“美国西部的排放因子为0.000322167吨/kWh，所以每天会产生3.82吨二氧化碳当量，美国人平均每年约15吨二氧化碳当量，换言之，这与93个美国人每年的二氧化碳排放率相当。”克里斯·波顿说。
Ai的能源账
依据唐淑姝的观点，从全生命周期角度看还应该包含ChatGPT在制造阶段的隐性碳排。仍以BLOOM作为参照，训练总时间共持续108万小时，平均使用48个计算节点上的384个GPU，可以估计与模型训练相关的服务器隐含碳排放大约为7.57吨和GPU3.64吨，总计约11.2吨。
“ChatGPT的训练时间大约比BLOOM长3倍，单从这个角度估算，估算ChatGPT中模型训练的隐含碳排放总量约为33.6吨。”唐淑姝对华尔街见闻解释道。
事实上，学界对于人工智能与环境成本的关系颇为关切。伯克利大学关于功耗和人工智能主题的研究认为，人工智能几乎吞噬了能源。
比如Google的预训练语言模型T5使用了86兆瓦的电力，产生了47公吨的二氧化碳排放量；Google的多轮开放领域聊天机器人Meena使用了232兆瓦的电力，产生了96公吨的二氧化碳排放；Google开发的语言翻译框架-GShard使用了24兆瓦的电力，产生了4.3公吨的二氧化碳排放；Google开发的路由算法SwitchTransformer使用了179兆瓦的电力，产生了59公吨的二氧化碳排放。
深度学习中使用的计算能力在2012年至2018年间增长了300000倍，这让GPT-3看起来成为了对气候影响最大的一个。然而，当它与人脑同时工作，人脑的能耗仅为机器的0.002%。
据估计，全球科技行业占全球温室气体排放量的1.8%至3.9%。尽管这些排放量中只有一小部分是由人工智能和机器学习引起的，但人工智能的碳足迹对于技术中的单个领域来说仍然非常高。
发表于Nature的一项计算碳成本的研究揭示了与人工智能相关的碳足迹在各种云计算数据中心训练一系列模型。结果表明，在美国中部或德国的数据中心训练BERT（一种常见的机器学习语言模型）会排放22-28公斤二氧化碳。这是在挪威（大部分电力来自水力发电）或在主要依赖核能的法国进行相同实验产生的排放量的两倍多。
而一天中进行实验的时间同样重要。例如，在美国华盛顿州，当该州的电力仅来自于水力发电时，在夜间训练人工智能导致的排放量低于在白天训练，因为那时的电力来自于燃气站。
通过更好地了解AI系统消耗了多少能源，或许有助于人类权衡做出在污染和成本之间的更优选择。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】