Boneka beruang yang bisa jadi teman anak dengan menjawab langsung menggunakan AI? Mungkin terdengar sebagai ide yang sangat brilian, dan sangat menarik. Tapi ternyata dari kasus yang satu ini, kita belajar kalau tidak semudah itu menjadikan ide tersebut aman buat anak-anak.

Baru-baru ini, boneka beruang bernama Kumma ditarik dari edaran. Awalnya dipasarkan sebagai teman belajar yang lucu untuk anak-anak. Tetapi hasil investigasi terbaru justru memunculkan kekhawatiran.

Boneka Beruang dengan AI Tanpa Kontrol

PIRG (Public Interest Research Group) di Amerika Serikat, menemukan bahwa boneka AI buatan FoloToy ini bisa berbahaya, karena merespons pertanyaan sensitif tanpa penyaringan yang memadai. Ini termasuk memberi instruksi menyalakan korek api dan menjawab pertanyaan seksual secara gamblang. Situasi ini makin berat karena Kumma punya mikrofon yang terus aktif, sehingga PIRG menilai ada risiko penyalahgunaan rekaman suara anak.

Begitu laporan tersebut menyebar, banyak warganet yang kemudian menjulukinya “ChuckyGPT”. Ada sebagian yang menduga respons berbahaya itu muncul akibat jailbroken prompt, meski tidak ada bukti yang memastikan. Tapi yang jelas, filter untuk membatasi prompt tersebut seharusnya juga tetap ada untuk mencegah resiko.

Baca Juga: Prototipe Honor Robot Phone Muncul, Ini Wujudnya! • Jagat Gadget

OpenAI bereaksi cepat dengan menangguhkan developer di balik Kumma, sehingga akses API untuk boneka itu terputus. FoloToy kemudian menghentikan seluruh penjualan produknya sambil melakukan audit keamanan, sedangkan halaman produk Kumma kini hanya menampilkan status “sold out.”

Kejadian ini tentu jadi pengingat bahwa integrasi AI tanpa kontrol yang ketat bisa menghasilkan risiko yang tidak disangka. Bagaimana menurut kalian, apakah produk seperti ini memang belum waktunya dilepas ke pasar? Atau memang tidak sebaiknya AI dihadirkan di perangkat mainan anak-anak?

Sumber