Seperti yang kita tahu, kemampuan AI yang canggih biasanya hanya bisa dinikmati lewat server dan koneksi internet cepat. Tapi sepertinya ini akan berubah. Google baru saja merilis Gemma 3n, model AI multimodal yang bisa berjalan langsung di smartphone dan perangkat edge, tanpa harus tersambung ke cloud.

Gemma 3n bukan sekadar versi hemat dari model besar. Ia dibangun dengan arsitektur baru bernama MatFormer (Matryoshka Transformer), di mana satu model besar berisi sub-model kecil yang bisa bekerja mandiri.

Struktur ini membuat performa Gemma bisa disesuaikan dengan kemampuan perangkat. Ini cocok untuk developer yang ingin AI tetap jalan, meski di perangkat dengan spesifikasi terbatas.

Dua Model AI Gemma 3n dan Kemampuannya

Model ini hadir dalam dua varian, yaitu model E2B yang bisa jalan hanya dengan di RAM 2GB, dan model E4B yang bisa optimal berjalan di perangkat dengan RAM 3GB.

Meski punya parameter sebanyak 5 miliar dan 8 miliar, efisiensinya sebanding dengan model yang jauh lebih kecil. Google menyematkan fitur seperti Per-Layer Embeddings (PLE) untuk memindahkan beban kerja dari GPU ke CPU, serta KV Cache Sharing yang mempercepat pemrosesan audio dan video berdurasi panjang. Proses yang biasanya lambat, kini bisa dua kali lebih cepat.

Baca Juga: Zeblaze AI Shooting Glasses, Kacamata Pintar Murah Alternatif Meta Ray-Ban

Untuk audio, model ini dibekali encoder suara turunan dari Universal Speech Model milik Google. Artinya, bisa langsung melakukan transkripsi dan terjemahan bahasa di perangkat, tanpa perlu internet. Google menyebut kinerja terjemahannya sangat baik untuk bahasa Eropa Barat seperti Spanyol, Prancis, Italia, dan Portugis.

Untuk video, Gemma 3n mengandalkan MobileNet-V5, vision encoder baru yang sanggup memproses gambar hingga 60 fps di perangkat seperti Pixel. Meski ringan, akurasi dan kecepatannya diklaim mengungguli generasi sebelumnya.

Soal bahasa, model ini juga tidak pelit dukungan. Ada lebih dari 140 bahasa untuk teks, dan pemahaman multimodal di 35 bahasa. Cukup luas untuk ukuran model yang bisa dibawa ke mana-mana.

Google membuka integrasi Gemma 3n lewat berbagai framework populer, seperti Hugging Face Transformers, llama.cpp, Ollama, dan MLX. Developer tinggal pilih mana yang paling cocok, lalu bisa langsung di-tweak sesuai kebutuhan.

Untuk mendorong pengembangan lebih lanjut, Google juga membuka kompetisi bertajuk Gemma 3n Impact Challenge, dengan total hadiah USD 150.000. Fokusnya: aplikasi offline berbasis AI yang bisa berguna di daerah terpencil atau dalam situasi sensitif terhadap privasi.

Gemma 3n pada dasarnya ingin menjawab satu hal yaitu agaimana kalau AI bisa pintar, cepat, dan tetap bisa jalan di genggaman,  tanpa harus kirim data ke server. Kalau AI bisa hadir seefisien ini langsung di perangkat, masih relevankah ketergantungan kita pada AI berbasis cloud untuk penggunaan sehari-hari?

Sumber