Nvidia meluncurkan prototipe avatar AI di CES 2025 yang ada di desktop PC Anda. Asisten AI, R2Xterlihat seperti karakter video game, dan dapat membantu Anda menavigasi aplikasi di komputer Anda.
Avatar R2X dirender dan dianimasikan menggunakan model AI Nvidia, dan pengguna dapat menjalankan avatar tersebut di LLM populer pilihan mereka, seperti GPT-4o OpenAI atau Grok xAI. Pengguna dapat berbicara dengan R2X melalui teks dan suara, mengunggah file ke dalamnya untuk diproses, atau bahkan mengaktifkan asisten AI untuk melihat apa yang terjadi secara langsung di layar atau kamera Anda.
Perusahaan teknologi baru-baru ini menciptakan banyak avatar AI, tidak hanya di video game tetapi juga untuk pelanggan perusahaan dan konsumen. Demo awalnya memang aneh, tetapi beberapa orang menganggap avatar ini adalah antarmuka pengguna yang menjanjikan untuk asisten AI. Dengan R2X, Nvidia mencoba menggabungkan kemampuan video game generatif dengan LLM mutakhir untuk menciptakan asisten AI yang terlihat dan terasa seperti manusia.
Perusahaan berencana untuk membuat avatar-avatar ini menjadi sumber terbuka pada paruh pertama tahun 2025. Nvidia melihat ini sebagai antarmuka pengguna baru yang dapat digunakan oleh pengembang, memungkinkan pengguna untuk menyambungkan produk perangkat lunak AI favorit mereka atau bahkan menjalankan avatar-avatar ini secara lokal.
Mirip seperti fitur Recall Microsoft (yang telah ada tertunda karena masalah privasi), R2X dapat mengambil tangkapan layar layar Anda secara konstan dan menjalankannya melalui model AI untuk diproses, meskipun fitur ini dinonaktifkan secara default. Saat diaktifkan, ini dapat memberikan umpan balik tentang aplikasi yang berjalan di komputer Anda dan, misalnya, membantu Anda mengerjakan tugas pengkodean yang rumit.
R2X masih berupa prototipe, dan bahkan Nvidia mengakui masih ada beberapa bug yang harus diperbaiki. Dalam demo dengan TechCrunch, avatar Nvidia memiliki kesan lembah yang luar biasa — wajahnya terkadang terjebak di posisi yang aneh, dan nadanya terkadang terasa sedikit agresif. Dan secara umum, saya merasa agak aneh jika ada avatar humanoid yang menatap saya saat saya bekerja.
R2X umumnya menawarkan instruksi yang bermanfaat dan melihat secara akurat apa yang ada di layar. Namun pada satu titik, avatar tersebut memberi kami instruksi yang salah, dan kemudian, avatar tersebut tidak lagi dapat melihat layar sama sekali. Hal ini mungkin merupakan masalah pada model AI yang mendasarinya (dalam hal ini, GPT-4o), namun contoh tersebut menunjukkan keterbatasan teknologi awal ini.
Dalam satu demo, pimpinan produk Nvidia menunjukkan bagaimana R2X dapat melihat, dan membantu pengguna, aplikasi di layar Anda. Secara khusus, R2X membantu kami menggunakan fitur pengisian generatif Adobe Photoshop. Foto yang kami pilih adalah CEO Nvidia Jensen Huang berdiri di sebuah restoran Asia bersama dua pekerja restoran. Avatar Nvidia berhalusinasi dan memberikan instruksi yang salah tentang di mana menemukan fitur pengisian generatif di Photoshop. Ia kemudian kehilangan kemampuan untuk melihat layar, tetapi setelah mengganti model AI yang kami gunakan ke Grok xAI, avatar tersebut mendapatkan kembali kemampuan melihat layarnya.
Dalam demo lainnya, R2X dapat menyerap PDF dari desktop dan kemudian menjawab pertanyaan tentangnya. Proses ini didukung oleh fitur local retrieval augmented generation (RAG), yang memberikan avatar AI ini kemampuan untuk mengambil informasi dari dokumen dan memprosesnya menggunakan LLM yang mendasarinya.
Nvidia menggunakan beberapa model AI dari divisi video gamenya untuk mendukung tampilan avatar ini. Untuk menghasilkan avatar, Nvidia menggunakan algoritma wajah saraf RTX-nya. Untuk mengotomatiskan pergerakan wajah, bibir, dan lidah, Nvidia menggunakan model baru bernama Audio2Face™-3D. Model itu tampak berhenti di beberapa titik, menahan wajah avatarnya dalam posisi yang canggung.
Perusahaan juga mengatakan avatar R2X ini akan dapat bergabung dalam rapat Microsoft Teams dan bertindak sebagai asisten pribadi.
Pimpinan produk Nvidia mengatakan bahwa perusahaan tersebut juga berupaya untuk memberikan kemampuan agen pada avatar AI ini, sehingga R2X suatu hari nanti dapat mengambil tindakan di desktop Anda. Kemampuan ini tampaknya masih jauh dari harapan, dan kemungkinan besar memerlukan kemitraan dengan pembuat perangkat lunak seperti Microsoft dan Adobe, yang mencoba mengembangkan sendiri sistem agen serupa.
Belum jelas bagaimana Nvidia menghasilkan suara dalam produk ini. Suara R2X saat menggunakan GPT-4o terdengar unik dari suara preset ChatGPT mana pun, sedangkan chatbot Grok xAI belum memiliki mode suara sama sekali.
