awanflare mengumumkan rencana pada hari Senin untuk meluncurkan pasar pada tahun depan di mana pemilik situs web dapat menjual akses kepada penyedia model AI untuk mengambil konten situs mereka. Pasar tersebut adalah langkah terakhir dari rencana CEO Cloudflare Matthew Prince yang lebih besar untuk memberi penerbit kontrol yang lebih besar atas bagaimana dan kapan bot AI mengambil konten situs web mereka.
“Jika Anda tidak memberi kompensasi kepada kreator dengan cara apa pun, maka mereka akan berhenti berkarya, dan itu masalah yang harus dipecahkan,” kata Prince dalam wawancara dengan TechCrunch.
Sebagai sarana untuk mencapai tujuan tersebut, Cloudflare meluncurkan alat observabilitas gratis bagi pelanggan, yang disebut Audit AI, pada hari Senin. Pemilik situs web akan mendapatkan dasbor untuk melihat analitik tentang mengapa, kapan, dan seberapa sering model AI merayapi situs mereka untuk mendapatkan informasi. Cloudflare juga akan memungkinkan pelanggan memblokir bot AI dari situs mereka dengan mengklik tombol. Pemilik situs web dapat memblokir semua web scraper menggunakan Audit AI, atau mengizinkan web scraper tertentu masuk jika mereka memiliki kesepakatan atau menganggap pengikisan mereka bermanfaat.
Demo AI Audit yang dibagikan dengan TechCrunch menunjukkan bagaimana pemilik situs web dapat menggunakan alat tersebut untuk melihat bagaimana model AI melakukan scraping pada situs mereka. Alat Cloudflare dapat melihat dari mana setiap scraper yang mengunjungi situs Anda berasal, dan menawarkan jendela selektif untuk melihat seberapa sering scraper dari OpenAI, Meta, Amazon, dan penyedia model AI lainnya mengunjungi situs Anda.
Cloudflare mencoba mengatasi masalah yang membayangi industri AI: bagaimana penerbit yang lebih kecil dapat bertahan hidup di era AI jika orang-orang menggunakan ChatGPT alih-alih situs web mereka? Saat ini, penyedia model AI mengumpulkan ribuan situs web kecil untuk mendapatkan informasi yang mendukung LLM mereka. Sementara beberapa penerbit yang lebih besar telah membuat kesepakatan dengan OpenAI untuk melisensikan konten, sebagian besar situs web tidak mendapatkan apa pun, tetapi konten mereka masih dimasukkan ke dalam model AI populer setiap hari. Itu dapat merusak model bisnis bagi banyak situs web, mengurangi lalu lintas yang sangat mereka butuhkan.
Awal musim panas ini, perusahaan rintisan pencarian berbasis AI, Perplexity, dituduh melakukan scraping situs web yang secara sengaja mengindikasikan bahwa mereka tidak ingin dirayapi menggunakan Robots Exclusion Protocol. Tak lama setelah itu, Cloudflare merilis sebuah tombol untuk memastikan pelanggan dapat memblokir semua bot AI dengan satu klik.
“Itu terjadi karena kami mendengar orang-orang merasa frustrasi karena konten mereka dicuri,” kata Prince.
Beberapa pemilik situs web mengatakan kepada Business Insider bahwa bot AI sangat sering mengikis situs web mereka, rasanya seperti serangan DDoS melumpuhkan server mereka. Situs web Anda yang dicuri tidak hanya menjengkelkan, tetapi juga dapat menghabiskan tagihan cloud Anda dan memengaruhi layanan Anda.
Namun, bagaimana jika Anda ingin memblokir bot Perplexity, tetapi tidak bot OpenAI? Prince memberi tahu TechCrunch bahwa pelanggan Cloudflare meminta alat yang memungkinkan mereka memilih model AI mana yang memiliki akses ke situs mereka. Alat baru Cloudflare yang diluncurkan hari ini akan memungkinkan pelanggan memblokir beberapa perayap AI, sementara membiarkan yang lain masuk.
Bahkan penerbit besar yang telah membuat kesepakatan lisensi dengan OpenAI – seperti TIME, Condé Nast, dan The Atlantic – memiliki wawasan yang relatif sedikit tentang seberapa banyak ChatGPT mengikis situs web mereka, menurut Prince. Banyak dari mereka harus menerima apa yang dikatakan OpenAI kepada mereka, tetapi jawabannya menentukan apakah penerbit mendapatkan kesepakatan lisensi yang baik atau tidak.
Namun pasar Cloudflare, yang akan diluncurkan tahun depan, bertujuan untuk memberi kesempatan kepada penerbit kecil untuk membuat kesepakatan dengan penyedia model AI juga.
“Mari kita berikan kalian semua kemampuan untuk melakukan apa yang sebelumnya hanya bisa dilakukan oleh Reddit, Quora, dan penerbit besar di dunia,” kata Prince. “Bagaimana jika kita biarkan kalian menetapkan, secara efektif, harga untuk mengakses dan memasukkan konten kalian ke dalam sistem ini.”
Meskipun ini merupakan ide yang berani, Cloudflare tidak membagikan ide yang sepenuhnya matang tentang seperti apa pasarnya nanti. Prince mengatakan situs web dapat mengenakan biaya kepada penyedia model AI berdasarkan tarif yang mereka gunakan untuk mengikis situs web individual, tetapi tidak jelas berapa biaya yang akan mereka bayarkan. Lebih lanjut, ia mengatakan situs web dapat mengenakan biaya moneter untuk mengikis, atau cukup meminta laboratorium AI untuk memberi mereka kredit. Rinciannya tidak jelas.
Meskipun perusahaan AI mungkin awalnya tidak bersemangat membayar konten yang saat ini mereka dapatkan secara gratis, CEO Cloudflare mengatakan menurutnya hal ini pada akhirnya baik untuk ekosistem AI. Prince mengatakan lanskap saat ini, di mana beberapa perusahaan AI tidak pernah membayar konten, tidak berkelanjutan.
