復(fù)旦大學(xué)教授張奇：認(rèn)清大語言模型能力邊界非常關(guān)鍵

每經(jīng)記者｜朱成祥    每經(jīng)編輯｜梁梟    

9月25日上午，“解碼未來：全球數(shù)智趨勢(shì)”專題論壇在上海浦東成功舉辦。論壇由工業(yè)和信息化部工業(yè)文化發(fā)展中心、上海市經(jīng)濟(jì)和信息化委員會(huì)、上海市浦東新區(qū)人民政府主辦。

本次專題論壇是工業(yè)文明國際論壇的分論壇之一。主論壇以“工業(yè)文明·中國力量”為主題，設(shè)一個(gè)主論壇和三個(gè)分論壇，來自多個(gè)國家的政府代表和專家、企業(yè)家，聚焦工業(yè)文明變遷、人工智能和在線新經(jīng)濟(jì)、新能源和智能網(wǎng)聯(lián)汽車、先進(jìn)材料、生物醫(yī)藥、產(chǎn)城人文、工業(yè)博物館等熱點(diǎn)議題展開討論。

在“解碼未來：全球數(shù)智趨勢(shì)”專題論壇上，復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授張奇以“大語言模型能力邊界與發(fā)展思考”為題發(fā)表了主題演講。張奇認(rèn)為，圍繞長(zhǎng)上下文建模、多任務(wù)學(xué)習(xí)、跨語言遷移性、文本生產(chǎn)能力這些核心能力，與場(chǎng)景做結(jié)合，將有巨大的價(jià)值。對(duì)于未來的大模型，清晰認(rèn)知它的能力邊界非常重要。如果對(duì)能力邊界有共識(shí)，對(duì)于未來投資的力度和方向就有很好的把握。但是可能還需要一定的時(shí)間，或許一年、兩年的時(shí)間才能完成確認(rèn)（認(rèn)知能力邊界）。

張奇發(fā)表主旨演講 圖片來源：主辦方供圖

張奇提到，2023年，大家認(rèn)為大模型無所不能，所有的地方都可以使用，可以寫code（代碼），可以做醫(yī)療，能夠做很多東西。但是干了一年后，大家發(fā)現(xiàn)，大模型落地總是差那么一口氣。

他舉例，去問大模型一句詩的下一句是什么，它可以做得很好，但是如果讓它回答一句詩的前面一句是什么，或者一個(gè)成語的中間一個(gè)字是什么，結(jié)果會(huì)變得非常差。這也就讓我們思考，為什么大模型會(huì)出現(xiàn)這些情況，它能做什么，不能做什么。

對(duì)于微調(diào)階段，張奇認(rèn)為，這和前一階段的訓(xùn)練數(shù)據(jù)非常相關(guān)，想讓它有什么樣的能力，就得準(zhǔn)備什么樣的訓(xùn)練數(shù)據(jù)，而且是非常精心地準(zhǔn)備，這和自然語言處理的邏輯非常不同。過去可以大量加訓(xùn)練數(shù)據(jù)，現(xiàn)在完全不是。

關(guān)于大模型能力邊界，張奇認(rèn)為，目前可以確認(rèn)的大模型的能力是上下文建模、多任務(wù)學(xué)習(xí)、跨語言遷移性、文本生成能力。

文本生產(chǎn)能力方面，張奇稱，在ChatGPT之前，自然語言處理研究者是不敢做自然語言生成的，因?yàn)殡y度非常大。模型大到現(xiàn)在這種程度之后，自然語言生成就可以做得非常好了。

張奇表示，可確認(rèn)的就是這四個(gè)能力。“但是推理怎么樣，我覺得OpenAI還是做了非常值得研究的過程，去年我們也做了很多過程型的推理，但是它的泛化能力怎么樣，以及未來是什么，我覺得還需要非常仔細(xì)地研究。”張奇說道。