Hai, teman-teman, selamat datang di buletin AI rutin TechCrunch. Jika Anda ingin menerima berita ini di kotak masuk Anda setiap hari Rabu, daftar di sini.
Katakan apa pun tentang AI generatif. Namun, AI generatif menjadi komoditas — atau, setidaknya, tampaknya demikian.
Pada awal Agustus, Google dan OpenAI memangkas harga model pembuat teks yang paling terjangkau. Google mengurangi harga input untuk Gemini 1.5 Flash (biaya untuk memproses teks pada model) sebesar 78% dan harga output (biaya untuk membuat teks pada model) sebesar 71%. Sementara itu, OpenAI menurunkan harga input untuk GPT-4o hingga setengahnya dan harga output hingga sepertiganya.
Menurut salah satu memperkirakanbiaya rata-rata inferensi — biaya untuk menjalankan model, pada dasarnya — turun pada tingkat 86% per tahun. Jadi apa yang mendorong hal ini?
Pertama-tama, tidak banyak yang membedakan berbagai model andalannya dalam hal kemampuan.
Andy Thurai, analis utama di Constellation Research, mengatakan kepada saya: “Kami memperkirakan tekanan harga akan terus berlanjut pada semua model AI jika tidak ada pembeda yang unik. Jika konsumsi tidak ada, atau jika persaingan semakin ketat, semua penyedia ini perlu bersikap agresif dengan harga mereka untuk mempertahankan pelanggan.”
John Lovelock, VP analis di Gartner, setuju bahwa komoditisasi Dan persaingan bertanggung jawab atas tekanan penurunan harga model baru-baru ini. Dia mencatat bahwa model telah diberi harga berdasarkan biaya plus sejak awal — dengan kata lain, diberi harga untuk mendapatkan kembali jutaan dolar yang dihabiskan untuk melatihnya (OpenAI GPT-4 dilaporkan biaya $78,4 juta) dan biaya server untuk menjalankannya (ChatGPT pada satu titik biaya OpenAI ~$700,000 per hari). Namun sekarang pusat data memiliki mencapai ukuran — dan skala — untuk mendukung diskon.
Vendor, termasuk Google, Anthropic, dan OpenAI, telah menggunakan teknik seperti prompt caching dan batching untuk menghasilkan penghematan tambahan. Prompt caching memungkinkan pengembang menyimpan “konteks prompt” tertentu yang dapat digunakan kembali di seluruh panggilan API ke suatu model, sementara batching memproses kelompok asinkron dari permintaan inferensi model berprioritas rendah (dan selanjutnya lebih murah).
Rilis model terbuka utama seperti Llama 3 dari Meta kemungkinan juga berdampak pada harga vendor. Meskipun model terbesar dan paling canggih ini tidak murah untuk dijalankan, model ini dapat bersaing dengan penawaran vendor, dari segi biaya, jika dijalankan pada infrastruktur internal perusahaan.
Pertanyaannya adalah apakah penurunan harga berkelanjutan.
Vendor AI Generatif menghabiskan uang dengan cepat. OpenAI dikatakan di jalur yang akan merugi $5 miliar tahun ini, sementara proyek Antropik saingannya akan lebih dari $2,7 miliar dalam defisit pada tahun 2025.
Lovelock berpendapat bahwa belanja modal dan biaya operasional yang tinggi dapat memaksa vendor untuk mengadopsi struktur harga yang sepenuhnya baru.
“Dengan estimasi biaya ratusan juta dolar untuk menciptakan model generasi berikutnya, apa yang akan diperoleh konsumen dengan penetapan harga biaya-plus?” tanyanya.
Kita akan segera mengetahuinya.
Berita
Musk mendukung SB 1047: CEO X, Tesla, dan SpaceX, Elon Musk telah mendukung SB 1047 California, sebuah rancangan undang-undang yang mengharuskan pembuat model AI yang sangat besar untuk membuat dan mendokumentasikan perlindungan terhadap model-model yang menyebabkan kerugian serius.
Ikhtisar AI berbicara bahasa Hindi yang buruk: Ivan menulis bahwa Ringkasan AI Google, yang memberikan jawaban yang dihasilkan AI sebagai respons terhadap permintaan pencarian tertentu, membuat banyak kesalahan dalam bahasa Hindi — seperti menyarankan “benda lengket” sebagai sesuatu untuk dimakan selama musim panas.
OpenAI mendukung tanda air AI: OpenAI, Adobe, dan Microsoft telah menyatakan dukungan mereka terhadap RUU California yang mengharuskan perusahaan teknologi untuk memberi label pada konten yang dihasilkan AI. RUU tersebut akan segera diloloskan pada bulan Agustus, lapor Max.
Inflection menambahkan huruf kapital ke Pi: Startup AI Inflection, yang pendirinya dan sebagian besar stafnya direkrut oleh Microsoft lima bulan lalu, berencana untuk membatasi akses gratis ke chatbot Pi karena fokus perusahaan beralih ke produk perusahaan.
Stephen Wolfram tentang AI: Ron Miller mewawancarai Stephen Wolfram, pendiri Wolfram Alpha, yang mengatakan bahwa ia melihat filsafat memasuki “zaman keemasan” baru karena semakin besarnya pengaruh AI dan semua pertanyaan yang ditimbulkannya.
Waymo mengantar anak-anak: Waymo, anak perusahaan Alphabet, dilaporkan tengah mempertimbangkan program berlangganan yang memungkinkan para remaja memanggil salah satu mobilnya sendirian dan mengirimkan pemberitahuan penjemputan dan pengantaran kepada orangtua anak-anak tersebut.
Protes pekerja DeepMind: Beberapa pekerja di DeepMind, divisi R&D AI Google, tidak senang dengan kebijakan Google dilaporkan kontrak pertahanan — dan mereka dikatakan telah mengedarkan surat secara internal untuk mengindikasikan hal tersebut.
Startup AI memacu pembelian SVP: “VC semakin banyak membeli saham perusahaan rintisan tahap akhir di pasar sekunder, sering kali dalam bentuk instrumen keuangan yang disebut kendaraan tujuan khusus (SVP), karena mereka mencoba mendapatkan bagian dari perusahaan AI terpopuler,” tulis Rebecca.
Makalah penelitian minggu ini
Seperti yang telah kami tulis sebelumnya, banyak tolok ukur AI yang tidak memberi tahu kita banyak hal. Tolok ukur tersebut terlalu sederhana — atau esoteris. Atau terdapat kesalahan mencolok di dalamnya.
Bertujuan untuk mengembangkan evaluasi yang lebih baik untuk model penglihatan-bahasa (VLM) khususnya (yaitu, model yang dapat memahami foto dan teks), para peneliti di Allen Institute for AI (AI2) dan di tempat lain baru-baru ini merilis bangku uji yang disebut Visi Liar.
WildVision terdiri dari platform evaluasi yang menampung sekitar 20 model, termasuk Gemini Pro Vision milik Google dan GPT-4o milik OpenAI, dan papan peringkat yang mencerminkan preferensi orang-orang dalam obrolan dengan model.
Dalam mengembangkan WildVision, para peneliti AI2 mengatakan bahwa mereka menemukan bahwa bahkan VLM terbaik pun berhalusinasi dan kesulitan dengan isyarat kontekstual dan penalaran spasial. “Analisis komprehensif kami … menunjukkan arah masa depan untuk memajukan VLM,” tulis mereka dalam sebuah artikel kertas menyertai peluncuran rangkaian pengujian.
Model minggu ini
Ini bukan model sesungguhnya, tetapi minggu ini, Anthropic meluncurkan fitur Artefak untuk semua pengguna, yang mengubah percakapan dengan model Claude milik perusahaan menjadi aplikasi, grafik, dasbor, situs web, dan banyak lagi.
Diluncurkan sebagai pratinjau pada bulan Juni, Artifacts — yang sekarang tersedia gratis di web dan aplikasi Claude Anthropic untuk iOS dan Android — menyediakan jendela khusus yang menampilkan kreasi yang telah Anda buat dengan Claude. Pengguna dapat menerbitkan dan me-remix artefak dengan komunitas yang lebih luas, sementara pelanggan paket Team Anthropic dapat berbagi artefak di lingkungan yang lebih tertutup.
Berikut ini adalah cara Michael Gerstenhaber, pimpinan produk di Anthropic, menjelaskan Artifacts kepada TechCrunch dalam sebuah wawancara: “Artifacts adalah keluaran model yang mengesampingkan konten yang dihasilkan dan memungkinkan Anda, sebagai pengguna, untuk mengulang konten tersebut. Katakanlah Anda ingin membuat kode — artefak akan diletakkan di UI, lalu Anda dapat berbicara dengan Claude dan mengulang dokumen tersebut untuk menyempurnakannya sehingga Anda dapat menjalankan kode tersebut.”
Yang perlu diperhatikan adalah Poe, agregator lintas platform berbasis langganan Quora untuk model AI, termasuk Claude, memiliki fitur yang mirip dengan Artifacts yang disebut Previews. Namun tidak seperti Artifacts, Previews tidak gratis — Anda harus membayar $20 per bulan untuk paket premium Poe.
Tas hadiah
OpenAI mungkin punya Strawberry di lengan bajunya.
Itu dia menurut kepada The Information, yang melaporkan bahwa perusahaan tersebut tengah berupaya merilis produk AI baru yang mampu memecahkan masalah dengan lebih baik daripada model yang sudah ada. Strawberry — yang sebelumnya disebut Q*, yang saya tulis tahun lalu — dikatakan mampu memecahkan masalah matematika dan pemrograman rumit yang belum pernah ada sebelumnya, serta teka-teki kata seperti Connections dari The New York Times.
Kelemahannya adalah dibutuhkan lebih banyak waktu untuk “berpikir”. Tidak jelas berapa lama waktu yang dibutuhkan jika dibandingkan dengan model terbaik OpenAI saat ini, GPT-4o.
OpenAI berharap untuk meluncurkan beberapa bentuk model yang menggunakan Strawberry pada musim gugur ini, mungkin pada platform chatbot bertenaga AI ChatGPT. Perusahaan tersebut juga dilaporkan menggunakan Strawberry untuk menghasilkan data sintetis guna melatih model, termasuk model utama berikutnya yang diberi nama kode Orion.
Harapan untuk Strawberry sangat tinggi di kalangan penggemar AI. Apakah OpenAI dapat memenuhinya? Sulit untuk mengatakannya — tetapi saya berharap ada peningkatan dalam kemampuan mengeja ChatGPT, paling tidak.
