Claude迎重磅升級，支持像人一樣操控計算機：不僅可以查看屏幕、移動光標，還可以單機按鈕、鍵入文本！

每經編輯｜杜宇

當地時間10月22日，Anthropic的Claude 3.5迎重磅升級！

Claude 3.5 Haiku 和升級款的 Claude 3.5 Sonnet 都來了。Claude 3.5 Sonnet 不僅編程能力更強，還帶來全新功能computer use（計算機使用）， Claude 現在支持像人類一樣操作計算機,可以遵循用戶的命令在計算機屏幕上移動光標，點擊相關位置，并通過虛擬鍵盤輸入信息，模擬人們與自己計算機的交互方式。

升級版 Claude 3.5 Sonnet 現在就可以使用了。computer use測試版也開放使用。

進化后的Claude 3.5 Sonnet堪稱最強推理模型。它在各個方面得到了全面顯著的提升，尤其是業界領先的編碼能力。

甚至，Claude現在能夠像人類一樣操作計算機，不僅可以查看屏幕、移動光標，還可以單機按鈕、鍵入文本！

目前，Claude 在以與人相同的方式使用計算機的模型中處于最先進水平——也就是說，通過查看屏幕并根據屏幕內容采取行動。在一個旨在測試開發人員讓模型使用計算機的評估（OSWorld）中，Claude 目前獲得了 14.9% 的分數。這遠未達到人類水平的技能（通常為 70-75%），但遠高于同一類別中排名第二的 AI 模型獲得的 7.7%。

Anthropic開發者關系主管表示，計算機使用是全新人機交互范式的第一步。同時也是，AI模型應該具備的全新基礎能力。

為什么要訓練AI操作電腦？Anthropic表示，在過去幾年里，強大的AI開發已經達到了許多里程碑，比如執行復雜邏輯推理，以及識別和理解圖像的能力。而下一個突破點，就是AI操作電腦了！如果模型不必通過專門定制的工具進行交互，而是按指示就能使用所有軟件，這一定代表著未來的方向。

在下面這個demo中，Anthropic研究員給Claude提出了一個極有難度的挑戰：

我的朋友要來舊金山，我想明天早上和他一起在金門大橋看日出。我們將從太平洋高地出發。你能幫我們找到一個絕佳的觀賞地點，查看一下開車時間和日出時間，然后安排一個日歷活動，讓我們有足夠的時間到達那里嗎？

Claude自行打開了Google，開始了搜索。

金門大橋和用戶居住地有多遠呢？Claude會自己打開地圖查找距離。

開發者展示出Claude如何操控了自己的筆記本電腦，絲滑地完成了一個網站編程任務。

首先，Claude在小哥的Chrome瀏覽器中導航到了Claude.ai，并且讓Claude為自己創造了一個90年代主題的個人主頁。

只見它自己輸入網址，鍵入提示，向另一個Claude發出請求。

假設我們需要填寫一份來自螞蟻設備公司的供應商請求表，但需要填寫的數據散步在電腦的各個角落，Claude能幫我們完成嗎？

只見它開始截取操作者的屏幕截圖，并且很快發現：螞蟻設備公司并不在表格中。

這時，它立刻切換到CRM系統中，去搜索這個公司。找到后，它開始滾動頁面，查找填表所需的所有信息，然后提交了表格。這也就意味著，我們工作中許多不得不做的繁瑣事項，都可以交由Claude代勞了！

在各項行業基準測試中，升級版Claude 3.5 Sonnet性能得到了全方位提升。特別是，智能體編碼、工具使用任務中取得顯著突破。

在編碼能力方面，它在SWE-bench Verified測試中，性能從33.4%大幅提升至49.0%。

這超越了所有公開可用的模型——包括OpenAI o1-preview等推理模型和專為智能體編碼設計的專門系統。

憑借快速的處理速度、改進的指令執行能力和更準確的工具使用，Claude 3.5 Haiku非常適合面向用戶的產品、專門的輔助任務，以及從海量數據中生成個性化體驗。

AI操作電腦能力代表了一種全新的人工智能開發方法。

迄今為止，LLM開發者一直在努力使工具適應模型，創造特殊的環境，讓AI使用專門設計的工具來完成各種任務。

雖然Claude已經達到了當前的最高水平，但它的操作仍然相對緩慢且容易出錯。我們日常使用電腦時的許多操作，如拖拽、縮放等，Claude都還無法做到。

此外，Claude目前觀察屏幕的方式類似于快速翻閱一本畫冊，通過連續截圖并拼接在一起，而不是觀察連續的視頻流。這意味著它可能會錯過一些短暫的動作或通知。

有趣的是，Anthropic在錄制Demo時，還遇到了一些有趣的小插曲。

比如，在一次演示中，Claude不小心點擊停止了一個長時間運行的屏幕錄制，導致所有錄像都付諸東流。

而在另一次編碼演示中，Claude則突然「走神」，開始饒有興趣地瀏覽起黃石國家公園的照片。

總之，Claude如今的表現讓人對未來充滿期待：AI操作電腦的能力將神速進步，那一天，軟件開發小白都能輕松使用它。

每日經濟新聞綜合公開資料