歐洲科學院外籍院士焦李成：GPT很偉大，但并不完美

每經記者｜楊煜    實習生 張藝蕾    每經編輯｜張海妮    

今日（4月8日），由中國人工智能學會主辦的“人工智能大模型技術高峰論壇”主論壇在杭州蕭山啟幕。論壇上，歐洲科學院外籍院士、俄羅斯自然科學院外籍院士焦李成發表演講。

焦李成指出，ChatGPT的成功離不開Transformer模型和基于人類反饋的強化學習（RLHF）的方法，其過程包括以下四個關鍵技術點。具體來看，ChatGPT的關鍵技術1在于，Transformer的強大表征能力為GPT的成功起到關鍵作用；ChatGPT的關鍵技術2在于獎勵模型，即可根據人類偏好校準生成獎勵模型（RM），并對GPT模型的“回答”進行評分優化；ChatGPT的關鍵技術3在于強化學習的原理及基本思想；ChatGPT的關鍵技術4在于提示學習方法。

同時，焦李成強調，GPT很偉大，但GPT并不完美。盡管ChatGPT取得了不錯的進展，但它仍處于發展初期，依然存在訓練時間長、資源消耗高、準確性有待提高、容易存在誤導性、生成結果的一致性、對話歷史長度限制、多語言支持、風格和語氣的控制、創新性有待提升等技術特點與局限。