OpenAI推出新模型，讓GPT-4幫人類訓練GPT-4！OpenAI與《時代》雜志“聯手”，訓練其最先進AI模型

每經編輯｜杜宇

美東時間6月27日周四，OpenAI公布，其研究人員訓練了一個基于GPT-4的模型，它被稱為CriticGPT，用于捕捉ChatGPT代碼輸出中的錯誤。簡單來說就是，CriticGPT讓人能用GPT-4查找GPT-4的錯誤。它可以寫出使用者對ChatGPT響應結果的批評評論，從而幫助人類訓練者在RLHF期間發(fā)現錯誤。

OpenAI發(fā)現，如果通過CriticGPT獲得幫助審查ChatGPT編寫的代碼，人類訓練師的審查效果比沒有獲得幫助的人強60%。OpenAI稱，正著手將類似CriticGPT的模型集成到旗下RLHF標記管道中，為自己的訓練師提供明確的AI幫助。

OpenAI稱，因為沒有更好的工具，所以人們目前難以評估高級的AI系統(tǒng)的表現。而CriticGPT意味著，OpenAI向能夠評估高級AI系統(tǒng)輸出的目標邁進了一步。

OpenAI舉了一個例子，如下圖所示，對ChatGPT提出一個用Python編寫指定函數的任務，對于ChatGPT根據要求提供的代碼，CriticGPT點評了其中一條指令，提議換成效果更好的。

OpenAI稱，CriticGPT的建議并不是全都正確無誤，但OpenAI的人員發(fā)現，相比沒有這種AI的幫助，有了它，訓練師可以發(fā)現更多模型編寫答案的問題。

此外，當人們使用CriticGPT時，這種AI模型會增強他們的技能，從而得出的批評結論比單單人類訓練師做的更全面，并且比AI模型單獨工作時產生的幻覺錯誤更少。

OpenAI 在開發(fā) CriticGPT 過程中識別出幾個關鍵的挑戰(zhàn)：

訓練方法的改進需求：目前模型主要基于簡短的答案進行訓練，這限制了它們處理長且復雜問題的能力。需要探索新的訓練策略來提升模型對復雜任務的理解。

幻覺現象的糾正：AI 模型有時會生成不準確或虛構的信息，這被稱為幻覺。同時，訓練師在識別這些錯誤時也可能出錯，這要求模型和訓練師的準確性都需要提高。

錯誤識別的全面性：現實中的錯誤可能分布在答案的多個部分，而現有模型通常只能識別出一個錯誤。未來的工作需要使模型能夠識別并糾正分散在不同地方的錯誤。

評估復雜性的局限：即使在模型的輔助下，專家在面對極其復雜的任務或響應時也可能難以做出準確的評估，這顯示了 AI 在處理極端復雜情況時的限制。

此外，OpenAI 強調了為了更有效地管理和協(xié)調日益復雜的 AI 系統(tǒng)，需要更先進的工具。他們通過在 GPT-4 上應用 RLHF 方法，發(fā)現了一種可能幫助生成更優(yōu)質 RLHF 數據的方法。OpenAI 計劃擴展這項研究，并將其實際應用，以提高 AI 系統(tǒng)的整體性能和穩(wěn)定性。

據新聞稿介紹，OpenAI可以通過這筆交易訪問《時代》過去100多年的檔案和文章，以訓練其AI模型，并在其面向消費者的產品（如ChatGPT）中用于回復用戶的詢問。

OpenAI使用《時代》雜志的內容時會注明引用并鏈接原始來源。作為協(xié)議的一部分，《時代》雜志將可以使用OpenAI的技術，以便為其受眾“開發(fā)新產品”。

《時代》雜志首席運營官馬克·霍華德表示，在上百年的歷史中，《時代》一直在擁抱創(chuàng)新，以確保其值得信賴的新聞報道與技術一起發(fā)展。

霍華德強調，而與OpenAI的合作有助于推進《時代》的使命，即在全球范圍內擴大對可信信息的獲取，同時繼續(xù)采用創(chuàng)新的新方式將《時代》的新聞帶給全球的受眾。

OpenAI的首席運營官Brad Lightcap聲稱，兩家公司的合作旨在利用AI技術幫助人們更便捷地獲取新聞，并確保提供正確的信源，從而支持高質量的新聞報道。

與此同時，OpenAI還在與數十家出版商洽談內容授權協(xié)議。上個月，OpenAI和新聞集團也達成了類似的合作關系。它將允許OpenAI訪問新聞集團旗下媒體的當前和存檔文章，包括《華爾街日報》《MarketWatch》《巴倫周刊》《紐約郵報》等。

美國八家新聞機構4月底在紐約聯邦法院對OpenAI、微軟提起訴訟，指控微軟的Copilot和OpenAI的ChatGPT非法復制了數百萬篇文章來訓練AI模型。這些新聞機構要求OpenAI和微軟賠償它們的損失，并停止進一步侵犯版權行為。

雖然沖突和分歧仍然存在，但目前的趨勢是，越來越多的新聞出版商選擇與OpenAI等AI公司建立合作關系，而不是提起訴訟。

每日經濟新聞綜合公開資料

封面圖片來源：視覺中國-VCG31N2008743681