“道生一,一生二,二生三,三生萬物”,老子在《道德經(jīng)》中將道視為孕育萬物的根本。同理,科技樹的發(fā)展也離不開最底層的根技術(shù)。當(dāng)前,AI處在加速行業(yè)落地的關(guān)鍵階段,但仍然面臨很多挑戰(zhàn),比如:各行業(yè)的AI應(yīng)用門檻依然不低,AI與行業(yè)知識的結(jié)合有待提升,開發(fā)者開發(fā)、訓(xùn)練和部署模型的效率不高等。
在推動AI落地方面,華為云的戰(zhàn)略布局非常清晰——基于“一切皆服務(wù)”戰(zhàn)略,聚焦三大根技術(shù)。如果把華為云的AI布局比作一棵大樹,預(yù)訓(xùn)練大模型、知識計(jì)算、AI求解器這三大根技術(shù)就是深埋在沃土中的根系。
在第三屆華為云AI院長峰會上,華為云人工智能領(lǐng)域首席科學(xué)家、IEEE Fellow、國際歐亞科學(xué)院院士田奇分享了華為云AI布局的最新進(jìn)展,并介紹全新的華為云盤古圖網(wǎng)絡(luò)大模型。從這些根技術(shù)的迭代,可以一窺華為云AI的發(fā)展脈絡(luò)。
向下扎根:從L0到L2,完成從學(xué)術(shù)大模型到產(chǎn)業(yè)大模型的轉(zhuǎn)變
目前,預(yù)訓(xùn)練大模型已經(jīng)成為AI產(chǎn)業(yè)界的熱點(diǎn)。通過一次預(yù)訓(xùn)練+下游任務(wù)微調(diào)的方式,大模型讓AI模型開發(fā)實(shí)現(xiàn)了從“作坊式”向“工業(yè)化”的升級。近兩年,國內(nèi)外科技巨頭紛紛加入“練大模型”的隊(duì)伍,各家大模型的參數(shù)體量從千億到萬億甚至更高。
“比拼模型體量的‘大躍進(jìn)’不可取?!碧锲嬲J(rèn)為,大模型應(yīng)該直面產(chǎn)業(yè)落地的挑戰(zhàn),完成從學(xué)術(shù)大模型到產(chǎn)業(yè)大模型的轉(zhuǎn)變。
華為云人工智能領(lǐng)域首席科學(xué)家、IEEE Fellow、國際歐亞科學(xué)院院士 田奇
回顧華為云盤古大模型的發(fā)展歷程,從2020年啟動研發(fā),2021年4月正式發(fā)布,到2022年聚焦行業(yè)應(yīng)用落地,這一過程中,華為云盤古大模型自身不斷迭代,其進(jìn)化路徑可以分為L0-L1-L2三大階段。L0-L2不是替代關(guān)系,而是并存,上層在下層的基礎(chǔ)上演化而來。這也讓盤古大模型一步步從實(shí)驗(yàn)室走向千行百業(yè),走向更細(xì)分的實(shí)際場景。
L0是指基礎(chǔ)大模型。目前,華為云已推出五大水平領(lǐng)域的基礎(chǔ)大模型,分別為:NLP(中文語言)大模型、CV(視覺)大模型、科學(xué)計(jì)算大模型、多模態(tài)大模型和最新推出的Graph(圖網(wǎng)絡(luò))大模型。
其中,NLP(中文語言)大模型是NLP領(lǐng)域首個(gè)千億參數(shù)的中文大模型,它具備強(qiáng)大的文本理解和生成能力,可以理解文字背后的含義,從文本中抽取關(guān)鍵信息。
CV(視覺)大模型首次兼顧了圖像判別與生成能力,在ImageNet 1%、10%數(shù)據(jù)集上的小樣本分類精度上,達(dá)到了業(yè)界最高水平,能夠?qū)Ω餍袠I(yè)的圖像進(jìn)行識別和檢測,可廣泛應(yīng)用在工業(yè)質(zhì)檢、物流管理等領(lǐng)域。
科學(xué)計(jì)算大模型主要解決各種科學(xué)問題,如氣象預(yù)報(bào)、海浪預(yù)測、分子動力學(xué)預(yù)測、微分方程求解等,旨在用AI促進(jìn)基礎(chǔ)科學(xué)的發(fā)展。
多模態(tài)大模型具備圖像和文本的跨模態(tài)理解、檢索與生成能力,通過跨模態(tài)語義關(guān)聯(lián)實(shí)現(xiàn)視覺-文本-語音多模態(tài)統(tǒng)一表示,采用一個(gè)大模型即可靈活支撐圖-文-音全場景AI應(yīng)用,可用于產(chǎn)品設(shè)計(jì)、藝術(shù)創(chuàng)作、語音播報(bào)、海報(bào)創(chuàng)作等領(lǐng)域。
Graph(圖網(wǎng)絡(luò))大模型首創(chuàng)圖網(wǎng)絡(luò)融合技術(shù),在工藝優(yōu)化、時(shí)序預(yù)測、智能分析等場景有廣泛應(yīng)用,比如預(yù)測企業(yè)財(cái)務(wù)風(fēng)險(xiǎn)、制造企業(yè)優(yōu)化工藝等等。
L1是指行業(yè)大模型。若想發(fā)揮盤古大模型的能力和優(yōu)勢,還需要讓盤古大模型與行業(yè)相結(jié)合,華為云推出了如盤古金融大模型、盤古礦山大模型、盤古電力大模型、盤古制造質(zhì)檢大模型、盤古藥物分子大模型等行業(yè)大模型。
比如,藥物分子大模型可以輔助科研人員加速藥物研發(fā)過程,將嚴(yán)謹(jǐn)復(fù)雜的分子化合物生成過程可視化以及智能化,高效的進(jìn)行篩查“老藥”加以新用以及“新藥”研發(fā)。通過預(yù)先訓(xùn)練學(xué)習(xí)17億個(gè)小分子的化學(xué)結(jié)構(gòu),藥物分子大模型實(shí)現(xiàn)了一個(gè)大模型賦能藥物發(fā)現(xiàn)全鏈條任務(wù)。
L2是指面向更加細(xì)分場景的推理模型。以在電力行業(yè)為例,華為云基于盤古電力大模型,針對無人機(jī)電力巡檢細(xì)分場景,通過一次預(yù)訓(xùn)練+下游任務(wù)的微調(diào),推出盤古電力巡檢大模型,解決了無人機(jī)智能巡檢系統(tǒng)(缺陷檢測)中的小樣本學(xué)習(xí)、主動學(xué)習(xí)、增量學(xué)習(xí)等問題,解決了海量數(shù)據(jù)標(biāo)注工作量大和缺陷種類繁多的問題。
此外,在華為云AI生態(tài)中,通過開源開放,盤古大模型將借助開發(fā)者和合作伙伴的力量,比如將L1行業(yè)大模型開放給ISV伙伴等,將大模型的能力進(jìn)一步下沉到場景,普惠給更多企業(yè)。
“未來我們就是兩條線,一是從練大模型到練好大模型,二是從用大模型到用好大模型?!?/p>
作為盤古大模型的“總設(shè)計(jì)師”,田奇分享了其未來的發(fā)展路徑。他表示,在練好大模型方面,涉及很多前沿技術(shù)創(chuàng)新,需要聯(lián)合高校和科研院所,發(fā)揮產(chǎn)學(xué)研融合的力量。比如大模型架構(gòu)的創(chuàng)新、解決大模型資源消耗大、缺乏邏輯等問題。在用好大模型方面,“大模型也不是萬能的,不一定能解決所有的問題,一定要找到高價(jià)值的場景,找到更適合大模型發(fā)揮作用的地方?!?/p>
“現(xiàn)在大模型大部分架構(gòu)是基于Transformer等,大模型到底應(yīng)該是什么樣的結(jié)構(gòu),數(shù)據(jù)驅(qū)動怎么樣跟知識結(jié)合在一起來訓(xùn)練大模型,這些都是‘練好大模型’值得探討的地方?!敝袊茖W(xué)技術(shù)大學(xué)信息學(xué)院常委副院長李厚強(qiáng)表示。
向上生長:五大優(yōu)勢,解決行業(yè)個(gè)性化難題
有了強(qiáng)壯的根系,要想持續(xù)向上伸展枝葉,必須把大模型放在具體行業(yè)中,放在企業(yè)核心生產(chǎn)系統(tǒng)中檢驗(yàn)。目前,雖然推出預(yù)訓(xùn)練大模型的科技企業(yè)很多,但在落地應(yīng)用方面,「智能進(jìn)化論」認(rèn)為,華為云盤古是走得最快的大模型之一。
“盤古大模型今年的一個(gè)重要目標(biāo),就是落地行業(yè)創(chuàng)造更大價(jià)值,形成關(guān)鍵技術(shù)的一些壁壘,為煤礦、水利、電力、金融、農(nóng)業(yè)等行業(yè)創(chuàng)造更大的產(chǎn)業(yè)價(jià)值。”田奇表示。目前,盤古大模型已經(jīng)在工業(yè)、城市、能源、金融、氣象等多行業(yè)落地,在電路巡檢、制造業(yè)工藝優(yōu)化、工業(yè)質(zhì)檢等一百多個(gè)場景業(yè)務(wù)中實(shí)際應(yīng)用。
在探索大模型落地方面,各個(gè)科技企業(yè)的策略和路徑各不相同,有的以技能來劃分大模型,有的推出眾多細(xì)分行業(yè)大模型。華為云盤古大模型走的是強(qiáng)化通用性、泛化性的路線?!皩π袠I(yè)落地來講,我們本質(zhì)上不希望一個(gè)行業(yè)一個(gè)模型,更希望打造一些通用的模型?!碧锲姹硎?。
以新推出的圖網(wǎng)絡(luò)大模型為例,一個(gè)大模型可以適配工藝優(yōu)化、時(shí)序預(yù)測、智能分析等多個(gè)場景,同時(shí)應(yīng)用在金融、煤礦、制造等多個(gè)行業(yè)。
比如,在智能分析場景下,圖網(wǎng)絡(luò)大模型幫助廣發(fā)證券將企業(yè)異常財(cái)務(wù)識別準(zhǔn)確率提高到90%,相對于原來的小模型方法提升了20%,實(shí)現(xiàn)了行業(yè)領(lǐng)先。
在時(shí)序預(yù)測場景下,圖網(wǎng)絡(luò)大模型幫助中央空調(diào)系統(tǒng)進(jìn)行可揮發(fā)氣體濃度的預(yù)測,智能監(jiān)測空氣質(zhì)量,同時(shí)也在幫助零售企業(yè)進(jìn)行銷量預(yù)測。
在工藝優(yōu)化場景下,圖網(wǎng)絡(luò)大模型則可以幫助制造行業(yè)優(yōu)化工藝、降本增效。
田奇介紹,經(jīng)過兩年的迭代,華為云盤古大模型已經(jīng)形成了五大優(yōu)勢,包括:AI開發(fā)門檻低、泛化性能高、樣本標(biāo)注快、模型精度高、場景通用性強(qiáng)。在這些優(yōu)勢的加持下,越來越多企業(yè)、機(jī)構(gòu)正在將盤古大模型應(yīng)用到核心生產(chǎn)環(huán)境。
比如,CV(視覺)大模型此前已成功應(yīng)用在鐵路巡檢、國家電力巡檢等場景,目前正被更多制造企業(yè)應(yīng)用在工業(yè)質(zhì)檢環(huán)節(jié)。華為南方工廠的PCB版質(zhì)檢就是借助了盤古CV(視覺)大模型展開。
NLP(中文語言)大模型方面,通過跨語言模型遷移,盤古研發(fā)團(tuán)隊(duì)還在嘗試通過中文大模型、英文大模型加速對其他小語種大模型的訓(xùn)練,如阿拉伯語大模型、西班牙語大模型等。
根系互補(bǔ):大模型+知識計(jì)算+AI求解器形成合力
在AI落地的道路上,大模型不是孤立的單打獨(dú)斗,因?yàn)槿斯ぶ悄芩惴ū仨毥Y(jié)合行業(yè)Know-How和企業(yè)專有數(shù)據(jù),才能完成通用到專用的轉(zhuǎn)變。
知識計(jì)算是指利用AI技術(shù)實(shí)現(xiàn)機(jī)器將人類知識轉(zhuǎn)化為可計(jì)算的模型。過去,各個(gè)行業(yè)都有各種形態(tài)的知識,它們存在于不同的媒介,比如各種專業(yè)書籍的學(xué)科知識,百科網(wǎng)站的基本常識,專家頭腦中的經(jīng)驗(yàn)沉淀等。知識計(jì)算是實(shí)現(xiàn)行業(yè)知識與AI結(jié)合的全新路徑。
在煤炭焦化行業(yè),配煤優(yōu)化是一項(xiàng)頗具技術(shù)含量的工藝,是工廠煤耗和焦炭質(zhì)量的關(guān)鍵保證。過去,傳統(tǒng)的配煤只能依靠配煤師的個(gè)人經(jīng)驗(yàn),存在主觀性、不穩(wěn)定性而且難以傳承?;诒P古Graph大模型和知識計(jì)算,華為云為鞍鋼集團(tuán)打造了智慧配煤解決方案。如今,操作人員只需要在系統(tǒng)中輸入配煉焦炭的四種原料成分相關(guān)比例,系統(tǒng)就能自動計(jì)算焦炭中的成焦質(zhì)量,配煤僅耗費(fèi)1~2分鐘,質(zhì)量預(yù)測準(zhǔn)確率達(dá)到95%,在確保焦炭質(zhì)量的前提下,平均配煤成本下降超過5元。以年產(chǎn)量200萬噸焦炭為例,企業(yè)可節(jié)省成本上千萬元。
此外,華為云天籌AI求解器將運(yùn)籌學(xué)和人工智能相結(jié)合,幫助突破業(yè)界運(yùn)籌優(yōu)化極限。它支持億級規(guī)模問題的求解,求解速度最高可以提升100倍,建模效率最高提升30倍,求解效率最高提升30%。
“大模型、知識計(jì)算、求解器不是對立的,而是相輔相成的,可以是相互結(jié)合,相互幫助的?!碧锲姹硎?。
寫在最后
今天,人工智能已經(jīng)深刻改變了我們的生產(chǎn)和生活。但是從獨(dú)立學(xué)科的發(fā)展來看,人工智能還處于發(fā)展早期。
“人工智能的發(fā)展處于初期階段,科研工作者需要充分利用知識、數(shù)據(jù)、算法、算力這四個(gè)要素,建立可解釋和魯棒的人工智能理論,發(fā)展可控、可信、可靠、可擴(kuò)展的人工智能技術(shù),探索出一條適合人工智能的全新發(fā)展道路?!敝袊茖W(xué)院院士、清華大學(xué)人工智能研究院名譽(yù)院長張鈸在會上表示。
只有根系茁壯,才能枝繁葉茂,果實(shí)累累。華為云聚焦AI根技術(shù)的研發(fā)與應(yīng)用,為AI產(chǎn)業(yè)落地探索了一條關(guān)鍵路徑。
“華為云把AI技術(shù)和應(yīng)用經(jīng)驗(yàn)化、云化,讓更多企業(yè)像使用水電一樣使用全球領(lǐng)先的數(shù)字技術(shù),促進(jìn)AI高效地走進(jìn)企業(yè)?!比A為公司董事、科學(xué)家咨詢委員會主任徐文偉表示。