.:. 草榴社區 » 技術討論區 » [原创] 涉天之路  央视教你识别邪教的五种特点,请勿对号入座!!  [24-3-18]
本頁主題: [原创] 涉天之路  央视教你识别邪教的五种特点,请勿对号入座!!  [24-3-18]字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
涉天之路


級別:禁止發言 ( 8 )
發帖:251
威望:268 點
金錢:-1312559 USD
貢獻:0 點
註冊:2023-11-06

[原创] 涉天之路  央视教你识别邪教的五种特点,请勿对号入座!!  [24-3-18]

窈窕美女,君子好逑
 
 
 
 
 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 


 
 
 
 
 
 
 
 
 




 





 




“AI的尽头是光伏和储能!我们不能只想着算力,如果只考虑(与生成式AI有关的)计算机,我们需要烧掉14个地球的能源。”近日,网传英伟达创始人黄仁勋在公开场合发表了此番言论。

芯片大佬 “能源危机”宣言一出,多个国内清洁能源股飘红,同时揭开了生成式AI蓬勃发展被遮蔽的一面。

据荷兰数据科学家亚历克斯·德弗里斯(Alex de Vries)估算,到2027 年,全球AI领域一年将消耗85-134太瓦时电量。这与荷兰的年能源需求大致相同。

多个研究也指向了ChatGPT等生成式AI值得担忧的一面。

牛津大学教授沃切特发现,每训练一次ChatGPT,相当于约126个丹麦家庭1年的用电量。这仅仅是训练AI大模型的前期电力,未包含模型实际使用推理时所消耗的电力。

国际能源署(IEA)2024年的一份报告也预测,由于人工智能和加密货币的发展,全球数据中心的用电量不久后将大幅增加两倍。该机构表示,2022 年,全球数据中心的用电量约为460太瓦时,到2026年可能增至620至1050太瓦时,分别相当于瑞典、德国的年用电量。

ChatGPT等生成式AI导致能源危机的消息甚嚣尘上。但几天后,黄仁勋的“信徒”们发现,这位科技圈大鳄从未说过“AI的尽头是光伏和储能”类似的话。这位当红科技人物表达了完全相反的意思。



 


黄仁勋

更完整的版本是,黄仁勋说:“如果你假设计算机的速度永远不会变快,你可能得出结论——我们需要14个不同的行星、3个不同星系、4个太阳为它们提供燃料。”

“但很明显,计算机的架构正不断进步。在过去十年,人类一大贡献是将计算和人工智能的性能提高了一百万倍,但它所消耗的能源没有随之提高。”

被误解的“名言”,将一个此前并不清晰的问题摆在人们面前:究竟,AI消耗了多少电力和能源?这会威胁我们的未来吗?




 


用电焦虑
黄仁勋的话虽然属于谣传,但此番论调已经在美国硅谷科技圈流行多时。

刚让星舰进行第三次升空试飞的埃隆·马斯克便是其中之一。不久前,他在博世互联世界2024大会上说:“接下来,陷入短缺的将是电力。等到明年,我们将没有足够的电力来运行所有的芯片了。”

1月16日,OpenAI CEO山姆·奥特曼也在访谈中说道:在人工智能时代,世界未来将有两种重要“货币”——算力和能源。“AI技术的发展将取决于能源突破。”



 


OpenAI CEO山姆·奥特曼

在科技名人的带动下,生成式AI背后的能源问题已经引起了注意。

据《纽约客》消息,国外研究机构的报告显示,ChatGPT每天要响应大约2亿个请求,在此过程中消耗超过50万度电力。而美国家庭的日平均用电量为29度,也就是说,ChatGPT每天用电量相当于1.7万个美国家庭的用电量。

对于大模型在应用后的耗电量,晚点LatePost也做过一个测算:

按ChatGPT日咨询量2.7亿次、月咨询量接近80亿次计算,已知 1 张 A100 GPU 推理 1 个单词大约需要 0.35 秒。假设每个提问长度约30个字/单词,ChatGPT每天需要处理80亿字咨询量。用一张A100 GPU来跑需要约78万小时,对应每天需要约3.24万张A100 GPU。

前述3.24万张 A100 GPU 大约等同4000台英伟达 DGX A100 服务器(搭载8张A100 GPU),后者最大功率为6.5千瓦,单月耗电量约为 1872万千瓦时。

而2022年,我国居民人均生活用电约79千瓦时/月。这意味着,ChatGPT 单月耗电量约等同于23.7万中国人的用电水平。



 


央视新闻报道ChatGPT日耗电量超50万千瓦时

国际能源署也在报告中提及了人们即将面临的“能源危机”。IEA 报告称,如果完全融入人工智能,以谷歌搜索为例,其用电量可能会增加十倍。

只是,当下对于AI大模型的耗电量,绝大多数都停留在估算和预测的阶段。这是因为科技公司各自投入大量资金在AI后,纷纷选择对技术和细节进行保密。不同研究估算的方式不同,对比的坐标不同,也给人不同的心理冲击。

中国数据中心工作组(CDCC)专家委员会副主任委员曲海峰告诉南风窗,生成式AI带来的变化是——这类人工智能多使用性能较高的GPU卡进行计算。

而根据美国AI咨询公司Formula Monks的说法,更先进的图形处理器GPU属于“能源密集型”。“GPU 每个处理周期消耗的电量是 CPU(中央处理器) 的 10 到 15 倍。它们非常耗能。” 

而曲海峰告诉南风窗,“我国目前存量不超过30万片高性能GPU卡,这点耗电量可以忽略不计。30万片,一年也就耗个几亿度电而已。”

尽管,中国科技从业者对我国算力资源的表述,也存在巨大差别。清华智能产业研究院院长张亚勤在2023年4月参加清华论坛说:“如果把中国的算力加一块,相当于50 万块英伟达 A100。”AI 公司旷视科技 CEO 印奇接受采访时则说:中国目前可用作大模型训练的 A100 总共只有约 4 万块。

如果照曲海峰的说法,以2023年中国全社会用电量92241亿千瓦时换算,当下AI的耗电量占全国用电的不及万分之一。

西安交大数字经济研究院数字服务中心首席科学家、微品致远CDO李家贵也告诉南风窗,AI的耗电量目前来看还不会对当下电力系统产生影响。只是,未来随着训练AI的智算中心的发展,能耗还将进一步增长。

相比于训练大模型阶段,李家贵认为,大模型在推理阶段的耗电量更值得关注。“AI的耗电在预训练和推理都很大,但因为预训练是一次性的,所以虽然单次绝对规模很大,但占的比例不够。推理是分布式的,今后可能10亿人同时用。每个人即便是250瓦,也是需要耗2500亿瓦。”




 


 人工智能的B面
目前对AI耗能的担心也许过早,但十分有必要。这让人们意识到,大举发展人工智能的B面,是我们的环境已经被迫承载的巨大消耗。

2021年,美国马萨诸塞大学研究员以当时几种大型AI大模型的训练周期为例,发现该过程排放超过 62.6万磅二氧化碳,几乎是普通汽车寿命周期排放量的五倍(包括汽车的制造过程)。

美国科罗拉多大学和德克萨斯大学的研究人员,在论文《让AI不那么渴》中写道,微软仅在训练GPT-3时,就消耗了70万升多的水。这足以生产370辆宝马汽车,或者320辆特斯拉电动汽车。



 


数据中心用水示意图 /图源:搜狐网

原因是,用于训练和支撑AI运行的数据中心,实际上便是堆满一个个服务器的机房。而因为服务器长时间运作,无法中断,经常可能过热,这些数据中心尤其强调凉爽的环境。为此,各数据中心需要大量的水进行降温,而且必须用干净的淡水资源,以避免设备腐蚀或者细菌滋生。

中国数据中心节能委员会数据显示,在数据中心,IT 设备能耗占比最大,为 45%。其次是空调系统,占比 40%。以大热的ChatGPT为例,加州大学的一个研究发现,每回答用户20个问题,ChatGPT就需要消耗约500多毫升水,用于冷却硬件。

拥有20余年数据经验的曲海峰也曾在采访中表示,“相比其他行业,无论单位产能用电量,还是单位建筑面积耗电量,数据中心均已位居前列。按照8—10年运行周期计算,能源成本已占到数据中心总成本的一半左右,电费甚至比机房还贵。”

“它们就像一个个不冒烟的钢厂,创造经济价值的同时也带来高能耗。”曲海峰比喻。



 


训练GPT-3耗费的清洁淡水量与其他活动耗水量的对比 /图源:News18

据新华社2023年报道,我国数据中心2020年用电量超过2000亿千瓦,占全社会用电量的2.7%。预计到2025年,中国数据中心用电量将突破4000亿千瓦时,占全社会用电量4.1%。高能耗的数据中心,变成了十足的“吃电”大户。

但曲海峰告诉南风窗,当下数据中心耗能高,实际的利用率却很低。“许多地方只是建了数据中心的建筑本体和一些机电和空调的设备而已,并不是意味着里面真正运行了IT系统。”这也导致了我国数据中心“服务器装机率和计算服务资源被使用的比率非常低,造成了大量浪费”。

上述现象也被新华社在报道中“点名”。报道指出,我国大量数据中心服务器的CPU平均利用率仅为5%至10%,绝大多数时间处于低效的“空转”状态。一些地方甚至还没搞清楚数据中心的原理,就盲目扎堆上项目。

“若放任这种粗放式的新基建模式发展,不仅数据中心实际能耗节节攀升,数字经济的发展质量也将大打折扣。”




 


解决之道
意识到了AI带给环境和能耗压力后,科技大佬与从业者们都在想解决之道。

李家贵介绍,为了节约能源,AI业界正在进行架构的创新。这是因为,人们发现,训练以ChatGPT为大模型,要消耗大量算力,并不环保。许多公司开始追求用更少的训练步数,训练一个更大的模型。

一个比较热门的方向是名叫MoE(Mixed Expert Model)的大模型。研究者发现,这个基于Transformer改进过的大模型在同等算力下训练速度更快,而且扩展度高,允许模型在保持计算成本不变的情况下增加参数,使其扩展到非常大的模型参数。



 


Switch Transformers paper 论文中的 MoE layer

在技术上创新,“源头”上进行节流,是当下技术加速主义者拥抱的方向。对技术保持乐观的人们认为,随着技术的加速发展,许多事情在迭代中自然会找到答案。

曲海峰也认为,应理智看待AI耗电一事。他告诉南风窗,我国当下许多数据中心,都是在为互联网平台提供的社会服务运作,也就是“消费互联网”买单。但真正能够深入到产业互联网,“在扩大AI的用电量和计算量仍是偏低的”。

曲海峰同时认为,“我国每年浪费掉的电力以及没有产生社会价值的用电量非常多”。如果在AI的耗电量提高,“说明这个产业技术在发展,这些用能是高质量用能”。

华经产业研究院数据显示,有色金属行业在采选与冶炼环节都耗费了大量的能源。以有色金属铝为例,生产一吨电解铝需要消耗电力近1.35万千瓦时。2022年。我国原铝(电解铝)产量为4021.4万吨,一天产量约11.02万吨。也就是说,国内电解铝日耗电达到约14.87亿度。

如此估算下来,以ChatGPT日耗电50万度估算,电解铝的日耗电量相当于ChatGPT运行2900天。

“所以,不要去恐惧数据中心的用电量,我们要在意提升它的能效,而不是抑制它的规模。”曲海峰总结,“这就跟碳中和的道理一样。我们并非要减少对能源的消耗,而是控制碳的排放量,提升能源消费的质量。”

短期来看,人类社会仍需要AI的发展,来为高质量的经济发展和能源转型铺路。

不过,在更遥远、全世界瞩目的的硅谷大佬圈,许多人早已“未雨绸缪”。他们有着普通企业家难以企及的资本和起点,这些底气让他们试图给全社会创造未来。

这其中最显眼的,要属引领这一代技术革命AGI信徒,OpenAI掌权者——山姆·奥特曼。

鼓吹能源危机的他,也的确在为他想象中的危机世界做准备。奥特曼个人职业生涯最大笔的投资,不是用来去火星或者造火箭,而是投资了两家能源公司——Helion、Oklo。它们都在做着人类过去突破了几十年年都没法实现的事——核聚变。



 


Helion Energy核聚变设备 /图源:Helion

这个技术的别名,叫人造太阳。也就是在地球模拟太阳上亿摄氏度的环境,实现发电。

2023年,奥特曼在接受采访时说:核聚变的潜力“巨大得令人难以置信”。“如果我们能够真正实现丰富、廉价、安全、清洁能源的梦想,那么所有人的生活质量将会难以置信地提高。这就是为什么我这么长时间以来都对这两个项目充满热情。”

除了奥特曼外,亚马逊的创始人杰夫·贝索斯也向加拿大的核聚变初创公司General Fusion筹集了1.3亿美元。类似的入局者还有彼得·蒂尔(Peter Thiel)、比尔·盖茨等科技大腕。他们共同相信,多年未实现的可控核聚变,有望在几年内变成现实。

但一切都离落地还有漫长的距离。以奥特曼押注的Helion为例,虽然它已经可以通过核聚变产生能量,但还没建造出能产生更多电力的装置。这仍然是像赌局一样的高风险赛道。对此,奥特曼回应:“几个月前,也有很多人对人工智能表示怀疑。”

毫无疑问,现在,人工智能掀起的浪潮,已经不止停留在人工智能本身了。





 


-END-





涉天之路,感谢您的支持




 
 




 
 
 

 




未使用   
10be***4406f1920        

未使用   
8c61***29ceb7a95    

未使用 




[ 此貼被涉天之路在2024-03-18 20:58重新編輯 ]

赞(75)
DMCA / ABUSE REPORT | TOP Posted: 03-18 10:43 發表評論
.:. 草榴社區 » 技術討論區

電腦版 手機版 客戶端 DMCA
用時 0.02(s) x3, 11-14 18:02