Sebuah perusahaan rintisan bernama Membaca baru saja muncul dari dunia rahasia dengan teknologi yang membantu model AI mengingat pengguna dan percakapan. Dibuat di pabrik startup Labs yang terkenal di UC Berkeley, perusahaan ini juga mengumumkan pendanaan awal sebesar $10 juta yang dipimpin oleh Astasia Myers dari Felicis, dengan valuasi pasca-pendanaan sebesar $70 juta.
Letta juga didukung oleh sejumlah investor malaikat di bidang AI, seperti Jeff Dean dari Google, Clem Delangue dari Hugging Face, Cristóbal Valenzuela dari Runway, dan Robert Nishihara dari Anyscale, antara lain.
Didirikan oleh mahasiswa PhD Berkeley Sarah Wooders dan Charles Packer, ini adalah peluncuran startup AI yang sangat dinantikan. Itu karena perusahaan ini merupakan anak perusahaan dari Berkeley's Sky Computing Lab dan merupakan entitas komersial dari proyek sumber terbuka MemGPT yang populer.
Sky Computing Lab Berkeley, yang dipimpin oleh profesor ternama dan salah satu pendiri Databricks, Ion Stoica, merupakan keturunan dari RISELab dan AMPLab, yang melahirkan perusahaan-perusahaan seperti Anyscale, Databricks, dan SiFive. Sky Lab, khususnya, melahirkan banyak proyek model bahasa besar (LLM) sumber terbuka yang populer seperti Gorilla LLM, vLLM, dan bahasa terstruktur LLM SGLang.
“Banyak sekali proyek yang muncul dari laboratorium dengan sangat cepat, dalam jangka waktu satu tahun. Hanya orang-orang yang duduk di sebelah kami,” jelas Wooders. “Jadi, itu adalah waktu yang luar biasa.”
MemGPT adalah salah satu proyek semacam itu dan merupakan komoditas yang sangat laku sehingga menjadi viral bahkan sebelum diluncurkan.
“Seseorang telah mencuri kami,” kata Packer kepada TechCrunch. Para pendiri telah memposting whitepaper pada hari Kamis, 12 Oktober 2023, dan berencana untuk merilis makalah yang lebih mendalam dan kode tersebut ke GitHub pada hari Senin berikutnya. Seseorang secara acak menemukan makalah tersebut, mengunggahnya ke Hacker News pada hari Minggu, dan “menjadi viral di Hacker News sebelum kami memiliki kesempatan untuk merilis kode, merilis makalah, atau, seperti, membuat utas tweet atau semacamnya,” katanya.
Alasan kegembiraan ini adalah karena MemGPT mengurangi masalah yang merugikan bagi LLM: Dalam bentuk aslinya, model seperti ChatGPT tidak memiliki status, artinya model tersebut tidak menyimpan data historis dalam memori jangka panjang. Hal ini menjadi masalah bagi aplikasi AI yang bergantung pada pengenalan dan pembelajaran dari pengguna dari waktu ke waktu — mulai dari bot dukungan pelanggan hingga aplikasi pelacakan gejala layanan kesehatan. MemGPT mengelola data dan memori sehingga agen AI dan chatbot dapat mengingat pengguna dan percakapan sebelumnya.
Postingan di koran itu bertahan di puncak Hacker News, situs populer bagi para programmer yang dikelola oleh Y Combinator, selama 48 jam, kata Packer. Jadi, ia menghabiskan akhir pekan dan beberapa hari berikutnya untuk menjawab pertanyaan di situs itu sambil mencoba menyiapkan kode untuk dirilis. Begitu proyek itu tersedia di GitHub, tautan ke proyek itu kembali menjadi viral di Hacker News. Wawancara YouTube dan tutorial, Postingan sedangBahasa Indonesia: 11.000 bintang dan 1,2 ribu garpu di GitHub terjadi dengan cepat.
Myers dari VC Felicis menemukan Wooders dan Packer dengan membaca tentang MemGPT, dan segera mengenali kemungkinan komersial dari teknologi tersebut.
“Saya melihat makalah itu saat dirilis,” katanya kepada TechCrunch, dan dia segera menghubungi para pendiri. “Kami memiliki tema investasi seputar infrastruktur agen AI dan menyadari bahwa komponen yang sangat penting dari hal itu adalah manajemen data dan memori untuk membuat bot obrolan percakapan dan agen AI ini efektif.”
Para pendiri masih berkeliling Sand Hill Road melakukan panggilan Zoom dengan VC sebelum menghubungi VC yang terlebih dahulu mencintai mereka.
Sementara itu, Stoica menjadi perantara perkenalan dengan Dean, Nishihara, dan angel investor besar Silicon Valley lainnya. “Banyak profesor di Berkeley, karena berada di Berkeley, memiliki koneksi yang sangat baik,” kenang Packer tentang betapa mudahnya proses angel investor. “Mereka mengincar proyek-proyek dari lab ini yang akan dikomersialkan.”
Persaingan dan ancaman OpenAI o1
Meskipun MemGPT sudah beredar luas dan digunakan, varian komersial Letta, Letta Cloud, belum dibuka untuk umum. Mulai hari Senin, Letta menerima permintaan untuk pengguna beta. Layanan ini akan menawarkan layanan agen terkelola yang memungkinkan pengembang untuk menyebarkan dan menjalankan agen berstatus di cloud, yang dapat diakses melalui REST API, antarmuka pemrograman yang dapat mengelola status. Letta Cloud akan menyimpan data jangka panjang yang diperlukan untuk melakukannya. Letta juga akan menawarkan alat pengembang untuk membangun agen AI.
Dengan MemGPT, Wooders melihat rentang penggunaan yang luas. “Saya pikir kasus penggunaan nomor satu yang kami lihat pada dasarnya adalah chatbot yang sangat personal dan sangat menarik,” katanya. Namun, ada juga penggunaan mutakhir seperti “chatbot untuk pasien kanker” di mana pasien mengunggah riwayat mereka dan kemudian berbagi gejala yang sedang berlangsung sehingga bot dapat belajar dan menawarkan panduan dari waktu ke waktu.
Perlu dicatat bahwa MemGPT tidak sendirian dalam mengerjakan hal ini. LangChain mungkin adalah pesaingnya yang paling terkenal, dan sudah menawarkan opsi komersial. Pembuat model terbesar juga menawarkan alat pembuat agen AI, seperti OpenAI's Assistants API.
Dan model o1 OpenAI yang baru mungkin membuat kebutuhan untuk memperbaiki status menjadi hal yang tidak penting bagi penggunanya. Karena merupakan model multi langkah, pada dasarnya model ini harus mempertahankan status hingga tingkat tertentu agar dapat “berpikir” dan memeriksa fakta sebelum memberikan tanggapan.
Namun, Wooders, Packer, dan Myers melihat beberapa perbedaan utama antara apa yang ditawarkan Letta dengan apa yang dilakukan OpenAI, raksasa pasar seberat 800 pon. Letta mengklaim bahwa ia akan bekerja dengan model AI apa pun dan mengharapkan penggunanya untuk menggunakan banyak di antaranya: OpenAI, Anthropic, Minstrel, model buatan mereka sendiri. Teknologi OpenAI saat ini hanya bekerja dengan dirinya sendiri.
Yang lebih penting, Letta menggunakan MemGPT sumber terbuka dan terjun secara teguh ke sisi sumber terbuka dalam perdebatan FOSS vs. LLM kotak hitam, dengan mengatakan bahwa sumber terbuka adalah pilihan yang lebih baik bagi pemrogram aplikasi AI.
“Kami memposisikan diri sebagai alternatif terbuka untuk OpenAI,” kata Packer. “Saya pikir sebenarnya sangat, sangat sulit untuk membangun aplikasi AI yang sangat bagus, terutama jika Anda peduli dengan, seperti halusinasi, jika Anda tidak dapat melihat apa yang terjadi di balik layar.”
