Setelah seminggu penuh melakukan pengkodean, Anda mungkin mengira para pekerja bangunan di San Francisco akan beristirahat di pegunungan, pantai, atau tempat hiburan malam yang ramai di Bay Area. Namun pada kenyataannya, ketika minggu itu berakhir, hackathon AI dimulai.
Dalam beberapa tahun terakhir, San Francisco telah diramaikan dengan hackathon AI. Pada setiap Sabtu atau Minggu, para teknolog memberikan ceramah tentang kemajuan terbaru dalam AI, jaringan, dan — yang terpenting — menuangkan ide ke dalam demonstrasi kerja. Terkadang, hackathon menawarkan hadiah dalam bentuk uang tunai atau kredit cloud, tetapi pemenang sebenarnya akan pulang dengan membawa ide tentang sebuah perusahaan rintisan.
“Tidak ada tempat yang lebih baik di dunia untuk membangun proyek paling ambisius dalam hidup Anda selain San Francisco,” kata salah satu pendiri Agency, Alex Reibman. “Anda sering melihat banyak kompetisi — seperti hackathon — tetapi kompetisi tersebut tidak saling bersaing. Kompetisi ini lebih bersifat kolaboratif daripada kompetitif.”
Musim panas lalu di hackathon San Francisco, Reibman memutuskan untuk mencoba membuat agen AI yang dapat mengikis web. Agen menjadi topik hangat di Silicon Valley saat ledakan AI mencapai puncaknya. Istilah ini tidak didefinisikan secara tepat, tetapi secara umum menggambarkan bot berbasis AI yang dapat melakukan tugas secara otomatis, menggunakan antarmuka dan layanan yang awalnya tidak dirancang untuk diotomatisasi — semacam pengganti tugas-tugas biasa yang dulunya memerlukan campur tangan manusia.
Namun Reibman langsung menemui masalah. “Mereka payah,” kata Reibman dalam sebuah wawancara. “Agen-agen itu gagal sekitar 30 hingga 40% dari waktu, dan sering kali dengan cara yang tidak terduga.”
Untuk memperbaikinya, tim Reibman membuat alat debugging internal untuk melihat kesalahan yang dilakukan agen mereka. Mereka akhirnya membuat agen bekerja sedikit lebih baik, tetapi alat debugging itu sendiri akhirnya mencuri perhatian dan memenangkan hackathon.
“Saya mulai menunjukkan alat-alat tersebut di sejumlah hackathon dan acara di San Francisco, dan orang-orang mulai meminta akses ke alat-alat tersebut,” kata Reibman. “Itu pada dasarnya adalah konfirmasi yang saya butuhkan: Alih-alih membangun agen sendiri, kami harus membangun alat-alat untuk mempermudah pembangunan agen.”
Jadi Reibman mendirikan Agency bersama para pendiri lainnya Adam Silverman dan Shawn Qiu, menawarkan berbagai alat untuk mengamati apa yang sebenarnya dilakukan agen AI, dan menemukan kesalahan mereka. Setahun kemudian, alat-alat tersebut akhirnya menjadi produk inti Agency, platform AgentOps, yang kini digunakan oleh ribuan tim setiap bulannya, kata Reibman kepada TechCrunch. Perusahaan rintisan tersebut kini telah mengumpulkan dana awal sebesar $2,6 juta, yang dipimpin oleh 645 Ventures dan Afore Capital.
Kepala operasi Adam Silverman mengatakan kepada TechCrunch bahwa AgentOps seperti “manajemen multiperangkat untuk agen,” menganalisis semua yang dilakukan agen untuk memastikan tidak ada tindakan yang tidak diinginkan.
“Anda ingin memahami apakah agen Anda akan bertindak nakal dan mengidentifikasi batasan apa yang dapat Anda terapkan,” kata Silverman dalam sebuah wawancara. “Banyak pekerjaan yang harus dilakukan untuk dapat melihat secara visual di mana pembatas Anda berada, dan apakah agen mematuhinya, sebelum menerapkannya dalam produksi.”
Startup ini bermitra dengan Cohere dan Mistral, pengembang model AI yang juga menawarkan layanan pembuatan agen, sehingga pelanggan dapat menggunakan dasbor AgentOps untuk melihat bagaimana agen berinteraksi dengan dunia, dan berapa biaya masing-masing. Agency bersifat model-agnostik, artinya ia bekerja dengan beberapa kerangka kerja agen AI yang berbeda, tetapi terintegrasi dengan alat-alat populer seperti AutoGen, crewAI, dan AutoGPT milik Microsoft.
Di luar dasbor AgentOps, Agency juga menawarkan layanan konsultasi (Reibman sebelumnya bekerja di firma konsultan EY) untuk membantu bisnis mulai membangun agen. Agency tidak mau menyebutkan nama pelanggan, tetapi mengatakan bahwa dana lindung nilai, konsultan, dan firma pemasaran menggunakan alat mereka.
Misalnya, Reibman mengatakan Agency membantu menciptakan agen AI yang menulis posting blog tentang perusahaan tempat pelanggan bekerja. Kini, pelanggan yang sama menggunakan dasbor AgentOps untuk melacak kinerja dan biaya agen.
Pemain besar seperti OpenAI dan Google kemungkinan akan membangun produk agen mereka dalam beberapa bulan mendatang, dan perusahaan rintisan AI seperti Agency harus mencari cara untuk bekerja berdampingan dengan kemajuan tersebut, bukan melawannya.
“Ada begitu banyak lapisan dalam tumpukan, sehingga penyedia LLM tidak mungkin mencoba untuk menangkap semuanya,” kata Reibman. “OpenAI dan Anthropic sedang membangun pembangun agen, tetapi ada semua lapisan di sekitarnya untuk memastikan Anda memiliki basis kode yang siap produksi.”
