人工智能比其他形式的計(jì)算消耗更多的能源,訓(xùn)練GPT-3需要的
電力相當(dāng)于120個(gè)美國(guó)家庭全年使用的電力。但由于該行業(yè)發(fā)展太快,且透明度十分有限,所以沒有人確切知道人工智能的總耗電量和
碳排放量。
艾倫人工智能研究所的科學(xué)家杰西·道奇表示,人工智能可以成為保護(hù)海洋或改善氣候的有力工具,但如果其
碳足跡不透明,人工智能也可能導(dǎo)致氣候危機(jī)。
在人工智能發(fā)展的同時(shí),一項(xiàng)可能被忽略的隱患隨之浮現(xiàn):AI時(shí)代的算力需求遠(yuǎn)超以往,帶來(lái)的電力消耗以及產(chǎn)生的碳排放也與日俱增。
人工智能比其他形式的計(jì)算消耗更多的能源,訓(xùn)練一個(gè)大型語(yǔ)言模型需要的電力比100個(gè)美國(guó)家庭全年使用的電力還要多。然而,由于該行業(yè)發(fā)展如此之快,且透明度十分有限,以至于沒有人確切知道人工智能的總耗電量和碳排放量。
艾倫人工智能研究所(Allen Institute for AI)的科學(xué)家杰西·道奇(Jesse Dodge)近日表示,人工智能可以成為保護(hù)海洋或改善氣候的有力工具,但如果其碳足跡不透明,人工智能也可能導(dǎo)致氣候危機(jī)。
110輛美國(guó)汽車一年的排放量
根據(jù)2021年發(fā)表的一篇研究論文,訓(xùn)練GPT-3耗電1.287千兆瓦時(shí),相當(dāng)于120個(gè)美國(guó)家庭一年消耗的電力,產(chǎn)生502噸碳排放,相當(dāng)于110輛美國(guó)汽車一年的排放量,而且此數(shù)據(jù)僅限于這一個(gè)模型。ChatGPT的開發(fā)者OpenAI已經(jīng)在準(zhǔn)備推出GPT-4,隨著這類模型的體量越來(lái)越大,且模型必須定期重新訓(xùn)練,以便了解最新數(shù)據(jù),用電量還將逐年上升。
“如果你不重新訓(xùn)練模型,你就會(huì)有一個(gè)不了解新冠疫情的模型。”卡內(nèi)基梅隆大學(xué)(Carnegie Mellon University)教授艾瑪·斯特魯貝爾(Emma Strubell)說,她是最早研究人工智能能源
問題的研究人員之一。
另一項(xiàng)數(shù)據(jù)來(lái)自谷歌,研究人員發(fā)現(xiàn)人工智能耗費(fèi)該公司總用電量的10%至15%,到2021年為18.3太瓦時(shí)。這意味著人工智能每年消耗谷歌約2.3太瓦時(shí)的電量,大約相當(dāng)于亞特蘭大這樣大小的城市中所有家庭每年的電力。
根據(jù)國(guó)際能源署的數(shù)據(jù),數(shù)據(jù)中心的溫室氣體排放量已約占全球溫室氣體排放量的1%。隨著云計(jì)算需求的增加,這一數(shù)字預(yù)計(jì)還會(huì)上升。而隨著人工智能被納入互聯(lián)網(wǎng)上最重要的應(yīng)用——搜索引擎,所需的計(jì)算量將更大。加拿大數(shù)據(jù)中心企業(yè)QScale的聯(lián)合創(chuàng)始人馬丁·布沙爾(Martin Bouchard)表示,根據(jù)他對(duì)微軟和谷歌搜索計(jì)劃的研究,將生成式人工智能加入搜索引擎這一過程至少需要將每次搜索的計(jì)算量增加四到五倍。
布沙爾指出,ChatGPT在2021年底停止了訓(xùn)練,作為減少計(jì)算需求的一部分。但為了滿足搜索引擎用戶的需求,這一現(xiàn)狀將不得不改變。他說:“如果經(jīng)常對(duì)模型進(jìn)行再培訓(xùn),并增加更多的參數(shù)和東西,那將是完全不同的規(guī)模。”
英國(guó)薩里大學(xué)(University of Surrey)網(wǎng)絡(luò)安全教授艾倫·伍德沃德(Alan Woodward)也表示:“雖然過去在搜索引擎中已經(jīng)有大量資源參與,但納入人工智能需要更多資源。每當(dāng)我們看到人工智能的階段性變化,我們就會(huì)看到大型處理中心所需的電力和冷卻資源顯著增加。”
AI公司Hugging Face的研究員薩沙·盧奇奧尼(Sasha Luccioni)表示,需要將AI模型的功耗和排放透明化。有了這些信息,政府和企業(yè)可能會(huì)決定,使用GPT-3或其他大型模型來(lái)研究癌癥治療或保護(hù)土著語(yǔ)言是值得的,但編寫蹩腳的劇本則不值得。
碳足跡透明是當(dāng)務(wù)之急
道奇表示,許多行業(yè)已經(jīng)開始報(bào)告自己對(duì)環(huán)境的影響,但目前在整個(gè)人工智能領(lǐng)域,產(chǎn)生的碳排放仍缺乏透明度,量化其碳足跡的努力才剛剛開始。隨著模型變得更強(qiáng)大和被更廣泛地使用,碳輸出水平只會(huì)繼續(xù)上升,因此,建立透明度以減輕人工智能碳足跡的潛在影響至關(guān)重要。透明度將使得研究人員可以開發(fā)可操作的工具,并進(jìn)一步鞏固人工智能的應(yīng)用,使其成為幫助應(yīng)對(duì)氣候變化的工具,而不是加劇氣候變化。
那么,如何衡量人工智能的碳足跡?道奇和來(lái)自微軟、卡內(nèi)基梅隆大學(xué)和耶路撒冷希伯來(lái)大學(xué)(the Hebrew University of Jerusalem)的研究團(tuán)隊(duì)正著手解決這個(gè)問題,目前,一個(gè)非營(yíng)利組織正在開發(fā)名為“
碳強(qiáng)度”的軟件,使用該軟件可以將微軟在其云服務(wù)Azure上訓(xùn)練的人工智能模型的排放映射到能源網(wǎng)格上。該團(tuán)隊(duì)能夠量化人工智能日益增長(zhǎng)的環(huán)境影響,并為AI從業(yè)人員提供思路,以遏制碳排放。
道奇和研究人員發(fā)現(xiàn),改變?nèi)斯ぶ悄苣P偷倪\(yùn)行地點(diǎn)對(duì)其排放的影響最大。數(shù)據(jù)中心遍布全球,某些國(guó)家的電網(wǎng)中清潔能源的比例高于其他國(guó)家。如果云計(jì)算提供商選擇更多可再生能源的數(shù)據(jù)中心,可能會(huì)將模型的碳強(qiáng)度降低75%。
伍德麥肯茲能源咨詢機(jī)構(gòu)(Wood Mackenzie)的本·赫茲-沙格爾(Ben Hertz-Shargel)表示,由于人工智能培訓(xùn)可以隨時(shí)進(jìn)行,開發(fā)人員或數(shù)據(jù)中心還可以將培訓(xùn)安排在電力更便宜或過剩的時(shí)候,從而使運(yùn)營(yíng)更加環(huán)保。道奇也認(rèn)為,當(dāng)電網(wǎng)的碳強(qiáng)度較低時(shí),模型定時(shí)運(yùn)行也可能是一個(gè)可行的解決方案。
目前,微軟、谷歌和亞馬遜都有碳負(fù)增長(zhǎng)或
碳中和承諾。谷歌在一份聲明中表示,到2030年,預(yù)計(jì)將實(shí)現(xiàn)其運(yùn)營(yíng)的凈零排放,目標(biāo)是完全依靠無(wú)碳能源運(yùn)行其辦公室和數(shù)據(jù)中心。該公司還使用人工智能來(lái)提高其數(shù)據(jù)中心的能源效率。
谷歌發(fā)言人樸吉英(Jane Park)也表示,谷歌發(fā)布了聊天機(jī)器人巴德(Bard)的新版本,該版本由一款體量更小的大型語(yǔ)言模型驅(qū)動(dòng),以節(jié)省資源。“我們還發(fā)布了語(yǔ)言模型LaMDA的能源成本。”樸吉英說,“我們的研究結(jié)果表明,將高效的模型、處理器和數(shù)據(jù)中心與清潔能源相結(jié)合,可以將機(jī)器學(xué)習(xí)的碳排放減少多達(dá)1000倍。”
OpenAI則強(qiáng)調(diào)了它為提高ChatGPTAPI(應(yīng)用程序編程接口)效率所做的工作,這一工作減少了客戶的用電量和價(jià)格。“我們非常重視阻止和扭轉(zhuǎn)氣候變化的責(zé)任,我們思考了很多如何充分利用我們的計(jì)算能力的方案。”O(jiān)penAI發(fā)言人在一份聲明中說,“OpenAI在Azure上運(yùn)行,我們與微軟團(tuán)隊(duì)密切合作,以提高運(yùn)行大型語(yǔ)言模型的效率。”
微軟指出,其正在購(gòu)買可再生能源,并采取其他措施來(lái)實(shí)現(xiàn)先前宣布的2030年實(shí)現(xiàn)負(fù)碳的目標(biāo)。“作為我們創(chuàng)造可持續(xù)未來(lái)的承諾的一部分,微軟正在投資研究,以衡量人工智能的能源使用和碳影響,同時(shí)致力于提高大型系統(tǒng)在培訓(xùn)和應(yīng)用中的效率。”該公司在一份聲明中表示。
此外,艾倫人工智能研究所目前正在使用人工智能保護(hù)海洋或改進(jìn)氣候建模。道奇認(rèn)為,人工智能在消耗電力的同時(shí),其創(chuàng)新應(yīng)用也會(huì)幫助應(yīng)對(duì)氣候危機(jī)。“如果我們今天不直面這些挑戰(zhàn),它可能會(huì)加劇氣候變化。在我們要求全行業(yè)透明的同時(shí),我們也必須做出決策,開發(fā)有助于拯救地球的人工智能應(yīng)用。”道奇表示。