中國高校為何難出大模型？下一代AI仍依賴基礎(chǔ)科研的突破

金葉子

ChatGPT誕生至今已過去9個多月，大模型在產(chǎn)業(yè)界和學(xué)界的最新進(jìn)展有哪些？

(資料圖片)

在8月24日舉行的2023世界人工智能大會(WAIC)青年優(yōu)秀論文獎頒獎儀式暨青年科學(xué)家論壇上，談到大模型為何難以首先誕生在高校，同濟(jì)大學(xué)計(jì)算機(jī)系副主任何良華教授認(rèn)為，學(xué)界之所以很難出現(xiàn)ChatGPT這樣的模型，主要是算力和數(shù)據(jù)的問題。

何良華說，大模型非常吃算力，高校也難以去購買大量的算力。而有了算力之后，要把參數(shù)訓(xùn)練得比較成熟，需要海量的數(shù)據(jù)，但是學(xué)界是拿不到這么多數(shù)據(jù)的。除了這兩個問題，還和學(xué)界自身的需求有關(guān)?！拔覀兌计谕诶碚撋献鲆恍﹦?chuàng)新。比如我的學(xué)生如果跟我說現(xiàn)在需要幾千張卡(算力)來做一個事情，我所有的經(jīng)費(fèi)給他也不夠，課題也難以立項(xiàng)。因?yàn)樗炔皇菓?yīng)用，又不是理論，找不到這樣一筆經(jīng)費(fèi)，研究只能中斷?！?/p>

和團(tuán)隊(duì)率先在國內(nèi)發(fā)布了具備 ChatGPT 能力語言模型MOSS的復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院教授邱錫鵬表示，大模型更頂尖的研究機(jī)構(gòu)在業(yè)界，這是一個不可回避的事實(shí)。從DeepMind再到OpenAI，都是如此。美國的很多著名高校，從研究實(shí)力上看已經(jīng)落后于這些頂級的研究院了。

邱錫鵬解釋，學(xué)校和研究院的差異還是在于自由的探索。對于很多研究院來講，長期的目標(biāo)還是奔著盈利，包括國內(nèi)很多企業(yè)之前也建了很多研究院，過不了幾年就發(fā)現(xiàn)可能面臨著盈利、變現(xiàn)的壓力，導(dǎo)致做的研究不是特別純粹。在他看來，OpenAI的團(tuán)隊(duì)是一個以前沒有出現(xiàn)過的形態(tài)，這種制度設(shè)計(jì)非常好，能使團(tuán)隊(duì)既能堅(jiān)持本心做研究，同時(shí)也沒有那么大的壓力。

“在學(xué)校的話還是要發(fā)揮學(xué)校的長處，做的研究沒有太多的盈利要求或面臨短期變現(xiàn)的壓力，也可以思考得更長遠(yuǎn)。特別在如今高算力要求的情況下，在學(xué)術(shù)界和產(chǎn)業(yè)界的研究院之間，還是可以發(fā)揮學(xué)術(shù)界的優(yōu)勢?！彼f。

上?？萍即髮W(xué)生物醫(yī)學(xué)工程學(xué)院常任助理教授錢學(xué)駿則認(rèn)為，工業(yè)界做出的很多有影響力的工作，可能不是學(xué)界追求的主要目標(biāo)?！皩W(xué)界可能更想(發(fā)明)一種思路上的創(chuàng)新(新想法、新應(yīng)用)，而不是通過大算力、大數(shù)據(jù)，各方面的優(yōu)勢集中做出來了，對學(xué)界來說這些也不夠有優(yōu)勢，無法獲得大量數(shù)據(jù)。”

華為諾亞方舟實(shí)驗(yàn)室AI研究員謝恩澤說，怎么構(gòu)建高質(zhì)量的數(shù)據(jù)集，可能是對于大模型能力一個很重要的補(bǔ)充。訓(xùn)練大模型本身來說，用多大參數(shù)的模型、配多大的數(shù)據(jù)量，以及用多長時(shí)間，這些協(xié)同也是很重要的。而這些只有在少數(shù)幾個大廠才有機(jī)會接觸到這些資源。

今年以來，生成式人工智能的發(fā)展成為地方政府和科技大廠瞄準(zhǔn)的關(guān)鍵詞?？萍疾咳斯ぶ悄馨l(fā)展研究中心5月底發(fā)布的《中國人工智能大模型地圖研究報(bào)告》顯示，當(dāng)前國內(nèi)10億參數(shù)規(guī)模以上的大模型已發(fā)布79個。

在不久前的浦江基礎(chǔ)科學(xué)發(fā)展論壇上，清華大學(xué)人工智能研究院常務(wù)副院長孫茂松教授對第一財(cái)經(jīng)表示，我國乃至全球發(fā)展大模型最終的突破關(guān)鍵，是基礎(chǔ)科學(xué)的突破。

他說，對于大模型，當(dāng)前的問題在于并不清楚OpenAI的機(jī)理是如何運(yùn)作的，就連推出ChatGPT的OpenAI公司首席執(zhí)行官薩姆·奧特曼也表示，雖然做出了GPT但也不清楚發(fā)生的原理，“實(shí)際上就是對這個機(jī)理還不清楚”。他認(rèn)為，現(xiàn)有的人工智能模型已經(jīng)能做到說話通順，但這個問題的內(nèi)在實(shí)現(xiàn)邏輯仍然十分復(fù)雜。如果弄清楚了大模型里的規(guī)律、ChatGPT背后的機(jī)理，就有可能克服現(xiàn)有人工智能大模型的局限性，建立下一代人工智能的理論和模型。