柏克萊MemGPT團隊創業,要當開源的OpenAI,Jeff Dean也投了

2024.09.25

本週一,新創公司Letta 面世的消息引發了人們的關注,它提供的技術可以幫助AI 模型記住用戶和對話。

Letta 成立於加州大學柏克萊分校(UC Berkeley)著名的實驗室創業工廠,並已宣布獲得了由Felicis 的Astasia Myers 領投的1000 萬美元種子資金,本輪估值為7000 萬美元。

Letta 也得到了人工智慧領域一系列天使投資人的支持,其中包括Google的Jeff Dean、Hugging Face 的Clem Delangue、Runway 的Cristóbal Valenzuela 和Anyscale 的Robert Nishihara 等。

這家由伯克利博士生Sarah Wooders 和Charles Packer 創立的AI 新創公司備受期待,它是伯克利Sky Computing Lab 的子公司,也是廣受歡迎的 MemGPT 開源專案的商業實體。

GitHub 連結:https://github.com/cpacker/MemGPT

伯克利的Sky Computing Lab 由著名教授兼Databricks 聯合創始人Ion Stoica 領導,是RISELab 和AMPLab 的接班人,後兩個實驗室催生了Anyscale、Databricks 和SiFive 等公司。尤其是Sky Lab,它催生了許多流行的開源大型語言模型(LLM)項目,例如Gorilla LLM、vLLM 和LLM 結構化語言SGLang。

「在不到一年裡,實驗室很快就誕生了大量項目。他們就是坐在我旁邊的人,」Wooders 描述道。 「那真是一段不可思議的時光。」

MemGPT 也是這樣一個項目,不過它的熱門程度很高,以至於還沒宣傳就火出圈了。

該計畫的創建者於2023 年10 月12 日週四發布了一份白皮書,並計劃在接下來的星期一將更深入的論文和程式碼發佈到GitHub 上。但有人偶然發現了這篇論文,並在週日將其發佈到Hacker News 上。 Packer 表示,它「在我們有機會正式發布程式碼、論文或發布推文介紹之前就在Hacker News 上火了,」他說。

專案首頁:https://memgpt.ai/

MemGPT 令人興奮的原因在於—— 它的目標是解決大語言模型(LLM)的一個痛點:在其原生形式中,像GPT-4 這樣的模型是無狀態的,這意味著它們不會將歷史數據儲存在長期記憶中。

這對於需要隨著時間推移逐漸了解和學習用戶的AI 應用來說是個大問題—— 從客戶支援機器人到醫療保健症狀追蹤應用,許多潛在的AI 應用需要我們讓大模型擁有「長期記憶」。而MemGPT 管理資料和內存,以便大模型Agent 和聊天機器人能夠記住以前的用戶和對話。

Packer 回憶說,MemGPT 論文的貼文在Y Combinator 經營的網站Hacker News 首頁上停留了48 小時,他花了幾天時間在網站上回答問題,同時準備發布程式碼。 MemGPT 專案在GitHub 上發布後,其連結再次在Hacker News 上瘋傳。 YouTube 上的訪談和教學、Medium 貼文、11,000 個星標和1.2K 個Fork 迅速湧現。

VC Felicis 的Myers 也在閱讀有關MemGPT 的文章時發現了Wooders 和Packer,並立即意識到該技術的商業潛力。

「我在論文發佈時就看到了它,」她表示,並立即聯繫了專案團隊。 「我們的投資主題是圍繞人工智慧智能體基礎設施,並意識到其中一個非常重要的組成部分是數據和內存管理,以使這些對話聊天機器人和智能體有效。」

在找到最早看中他們的那家公司之前,MemGPT 團隊仍然在Sand Hill Road 四處遊蕩,透過Zoom 與風投公司進行通話。

同時,Stoica 也幫助公司結識了Jeff Dean、Robert Nishihara 和其他知名的矽谷天使投資人。 Packer 回憶說,天使投資的過程異常簡單:「伯克利的許多教授由於在本地工作,所以人脈很廣。他們都很關注這個實驗室即將商業化的項目。」

競爭和OpenAI o1 的威脅

雖然MemGPT 去年就已投入使用,但Letta 的商業版本Letta Cloud 尚未開放。截至週一,Letta 正在接受測試版用戶的請求。它將提供託管代理服務,允許開發人員在雲端平台上部署和運行有狀態智能體,可透過REST API(一種可以維護狀態的程式設計介面)存取。 Letta Cloud 將儲存這樣做所需的長期資料。 Letta 也將提供用於建構AI 智能體的開發人員工具。

Wooders 看到了MemGPT 的廣泛用途。 「我們看到的頭號用例是高度個人化、非常吸引人的聊天機器人,」她說。但也有前沿用途,如“癌症患者的聊天機器人”,患者上傳他們的病史,然後分享持續的症狀,這樣AI 就可以學習並隨著時間的推移提供指導。

值得注意的是,MemGPT 並不是唯一一家致力於此的公司。 LangChain 可能是其最知名的競爭對手,它已經提供了商業選項。大模型的龍頭公司也在提供智慧體工具,例如OpenAI 的Assistants API。

OpenAI 的o1 新模型可能會讓使用者不再需要修復狀態。由於它是一個多步驟模型,因此它從根本上必須在一定程度上保持狀態,以便在回復之前“思考”和核實事實。

但Wooders、Packer 和Myers 認為Letta 提供的產品與OpenAI 有一些關鍵差異。 Letta 聲稱它可以與任何AI 模型配合使用,並期待其用戶使用其中的許多型號:OpenAI、Anthropic、Mistral 以及他們自研的大模型。 OpenAI 的技術目前僅適用於其自身。

更重要的是,Letta 正在使用開源MemGPT 項目,並堅定地站在開源陣營一邊,並認為開源是AI 應用的更好選擇。

「我們將自身定位為OpenAI 的開放替代品,」Packer 說。 「建構最好的AI 應用是非常困難的事,尤其是當你關心幻覺之類的問題時。」