Gemini Computer Use Resmi GA: Agen AI Bisa Klik Browser, Desktop, dan Android

Gemini Computer Use adalah tool di Gemini API yang membuat model AI bisa "melihat" tangkapan layar lalu mengusulkan klik, ketikan, dan scroll seperti manusia. Pada 30 Oktober 2026 Google menaikkan statusnya menjadi general availability (GA). Artinya developer kini bisa membangun agen yang mengoperasikan browser, desktop, dan aplikasi mobile di atas API yang sudah dinyatakan siap dipakai.

Kabar ini ramai dibahas karena butuh 388 hari dari preview pertama sampai GA. Selain itu, harga beberapa model pendukungnya dijadwalkan naik dua kali lipat dalam dua bulan ke depan. Artikel ini merangkum apa yang baru, cara kerjanya, perbandingannya dengan Claude dan OpenAI, serta cara mencobanya.

Apa yang sebenarnya diumumkan Google?

Catatan rilis Gemini API tanggal 30 Oktober 2026 hanya satu baris: tool Computer Use dirilis ke GA di Interactions API dan GenerateContent API. Detail lainnya ada di dokumentasi dan rangkuman media teknologi:

• Tiga lingkungan: browser, desktop, dan mobile (dioptimalkan untuk Android).
• Empat model pendukung: Gemini 4 Argon, Gemini 3.8 Flash (model yang disarankan untuk computer use), Gemini 3.5 Flash-Lite, dan Gemini 3 Flash Preview.
• Tanpa biaya tambahan: Computer Use ditagih dengan tarif token biasa. Setiap screenshot dihitung sebagai token input. Fitur ini hanya untuk paid tier, tidak tersedia di free tier.
• Field intent: untuk model Gemini 4 dan 3.x, setiap aksi disertai alasan singkat dari model. Ini memudahkan audit dan debugging.
• Kontrol keamanan: setiap aksi bisa diberi safety_decision (diizinkan, perlu konfirmasi, atau diblokir), plus deteksi prompt injection yang bisa diaktifkan.

Satu catatan penting: menurut Data Studios, halaman dokumentasi fitur ini masih memuat peringatan khas masa preview, bahwa Computer Use bisa berisi kesalahan dan celah keamanan. Jadi label GA belum berarti agen boleh dilepas tanpa pengawasan.

Bagaimana cara kerja Computer Use?

Model tidak pernah menyentuh komputer kamu secara langsung. Ia hanya membaca screenshot lalu mengusulkan aksi. Kode kamu yang menjalankan aksi itu, misalnya lewat Playwright, kemudian mengirim screenshot baru. Begitu terus sampai tugas selesai.

Beberapa detail teknis yang perlu kamu tahu:

1. Koordinat dinormalisasi. Model memprediksi posisi di grid 1000×1000 (bilangan bulat 0–999). Kamu tidak perlu mengirim resolusi layar, tetapi wajib menskalakan koordinat ke ukuran viewport sebelum mengeksekusi. Contoh resmi memakai viewport 1440×900, meski itu bukan syarat.
2. Daftar aksi bawaan. Untuk browser dan desktop tersedia antara lain click, double_click, right_click, type, scroll, drag_and_drop, hotkey, navigate, go_back, dan take_screenshot. Untuk mobile ada open_app, list_apps, long_press, dan lainnya.
3. Aksi bisa dibatasi atau ditambah. Parameter excluded_predefined_functions menghapus aksi bawaan yang tidak kamu inginkan. Kamu juga bisa mendaftarkan fungsi sendiri, misalnya yield_to_user untuk mengembalikan kendali ke manusia.

Kapan agen wajib minta izin?

Google memetakan tujuh kategori kebijakan: transaksi finansial, modifikasi data sensitif, alat komunikasi (kirim pesan atau email), pembuatan akun, modifikasi data, manajemen persetujuan pengguna, serta syarat dan perjanjian hukum. Bila sebuah aksi masuk kategori ini, model bisa mengembalikan require_confirmation. Aplikasi kamu harus bertanya ke pengguna, lalu mengirim safety_acknowledgement bila disetujui. Kalau statusnya blocked, hentikan loop.

Deteksi prompt injection lewat enable_prompt_injection_detection memeriksa screenshot dari instruksi tersembunyi, misalnya teks di halaman web yang menyuruh agen mentransfer uang. Fitur ini mati secara default dan membutuhkan Gemini 3.5 Flash-Lite atau yang lebih baru.

Berapa biayanya dan model mana yang dipilih?

Karena tidak ada biaya terpisah, biaya agen bergantung pada jumlah langkah dan ukuran screenshot. Tarif per 30 Oktober 2026 (paid tier, USD per 1 juta token):

Model	ID	Input	Output	Perubahan terjadwal
Gemini 4 Argon	gemini-4-argon	$2,00	$10,00	Naik 2x mulai 1 Des 2026
Gemini 3.8 Flash (disarankan)	gemini-3.8-flash	$0,75	$3,75	Naik ke $1,50 / $7,50 mulai 1 Jan 2027
Gemini 3.5 Flash-Lite	gemini-3.5-flash-lite	$0,30	$2,50	Belum ada
Gemini 3 Flash Preview	gemini-3-flash-preview	$0,50	$3,00	Belum ada

Data Studios membuat simulasi: satu sesi 25 langkah, masing-masing sekitar 15.000 token input dan 400 token output. Hasilnya kira-kira $0,32 per sesi dengan Gemini 3.8 Flash (sekitar $0,64 setelah Januari 2027), $0,85 dengan Gemini 4 Argon, dan $0,14 dengan Flash-Lite. Angka ini asumsi penulis, bukan angka resmi Google, jadi ukur sendiri di beban kerja kamu.

Bagaimana dibanding Claude dan OpenAI?

Google bukan yang pertama. Anthropic merilis computer use dalam versi beta bersama Claude 3.5 Sonnet pada Oktober 2024, dan OpenAI memperkenalkan model computer-use (yang juga menggerakkan Operator) pada Maret 2025. Bedanya, Google kini yang paling eksplisit menyebut fiturnya GA.

Soal benchmark, hati-hati membandingkan. Rangkuman eCorpIT (Juli 2026) mencatat Claude Sonnet 4.6 meraih 72,7% di OSWorld menurut Anthropic, sementara Gemini 2.5 Computer Use dilaporkan unggul di Online-Mind2Web, WebVoyager, dan AndroidWorld. Tiap vendor memakai harness, tanggal, dan aturan retry berbeda, dan sebagian besar angka dilaporkan sendiri. Untuk rilis GA ini, FourWeekMBA dan Data Studios sama-sama tidak menemukan benchmark baru dari Google.

Pilih Gemini bila kamu butuh dukungan mobile Android dan sudah memakai ekosistem Google Cloud. Pilih Claude bila beban kerjanya kontrol desktop penuh. Pilih OpenAI bila stack kamu sudah di Responses API. Kalau kamu sedang membandingkan model frontier secara umum, lihat juga ulasan GPT-6 dan Mistral Large 4.

Bagaimana cara mencobanya?

Siapkan API key Gemini dari project paid tier. Permintaan pertama ke Interactions API berbentuk seperti ini (struktur mengikuti contoh di dokumentasi resmi; cek halaman Computer Use untuk nama field terbaru):

curl -X POST \
  "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-3.8-flash",
    "input": "Buka https://example.com lalu laporkan judul halamannya.",
    "tools": [{
      "type": "computer_use",
      "environment": "browser",
      "enable_prompt_injection_detection": true
    }]
  }'

Respons berisi function_call, misalnya klik di koordinat tertentu. Bagian yang paling sering salah justru di sisi klien: menskalakan koordinat dan menangani safety_decision. Berikut kerangka Python dengan Playwright untuk dua hal itu:

from playwright.sync_api import sync_playwright

VIEWPORT_W, VIEWPORT_H = 1440, 900

def denorm(x: int, y: int) -> tuple[int, int]:
    """Ubah koordinat grid 0-999 dari model ke piksel viewport."""
    return int(x / 1000 * VIEWPORT_W), int(y / 1000 * VIEWPORT_H)

def boleh_jalan(safety_decision: dict | None) -> bool:
    if not safety_decision:
        return True
    keputusan = safety_decision.get("decision")
    if keputusan == "blocked":
        return False
    if keputusan == "require_confirmation":
        jawab = input(f"Agen minta izin: {safety_decision.get('explanation')} [y/N] ")
        return jawab.strip().lower() == "y"
    return True

def jalankan(page, nama: str, args: dict) -> None:
    if nama == "click":
        page.mouse.click(*denorm(args["x"], args["y"]))
    elif nama == "type":
        page.keyboard.type(args["text"])
    elif nama == "navigate":
        page.goto(args["url"])
    elif nama == "scroll":
        page.mouse.wheel(0, args.get("delta_y", 400))
    # tambahkan aksi lain sesuai kebutuhan

with sync_playwright() as p:
    browser = p.chromium.launch()
    page = browser.new_page(viewport={"width": VIEWPORT_W, "height": VIEWPORT_H})
    page.goto("https://example.com")
    screenshot = page.screenshot(type="png")  # kirim ke model, ulangi per langkah
    browser.close()

Nama argumen seperti x, y, dan text di atas adalah ilustrasi. Sesuaikan dengan bentuk function_call yang benar-benar kamu terima. Untuk implementasi lengkap, Google menyediakan repositori referensi google-gemini/computer-use-preview di GitHub.

Checklist sebelum masuk produksi

• Jalankan browser di VM atau container terisolasi, jangan di laptop yang login ke akun penting.
• Aktifkan enable_prompt_injection_detection dan pakai allowlist domain.
• Batasi jumlah langkah per sesi supaya biaya tidak membengkak.
• Simpan log intent dan screenshot untuk audit.
• Untuk data yang tersedia lewat API, panggil API-nya langsung. Mengklik UI lebih lambat dan lebih mahal daripada satu request JSON, misalnya cek ongkir atau data wilayah lewat APIPedia. Agen juga bisa memanggil API itu sebagai tool lewat MCP.

FAQ

Apakah Gemini Computer Use gratis?

Tidak. Fitur ini hanya untuk paid tier dan ditagih dengan tarif token model yang dipakai. Tidak ada biaya Computer Use terpisah, tetapi setiap screenshot dihitung sebagai token input.

Model apa yang paling cocok untuk mulai?

Google menyarankan Gemini 3.8 Flash. Untuk tugas penalaran yang lebih rumit ada Gemini 4 Argon, sedangkan Gemini 3.5 Flash-Lite cocok bila latensi dan biaya paling penting.

Apakah agen bisa melakukan pembayaran sendiri?

Transaksi finansial termasuk kategori yang bisa memicu require_confirmation. Aplikasi kamu yang memutuskan apakah aksi dijalankan. Praktik terbaiknya, selalu minta persetujuan manusia untuk aksi seperti ini.

Apa beda Interactions API dan GenerateContent API?

Keduanya mendukung Computer Use. Interactions API adalah antarmuka baru yang stateful dengan endpoint /v1beta/interactions, sedangkan GenerateContent adalah API lama yang memakai types.Tool(computer_use=...) di SDK Python 2.7.0 ke atas.

Apakah label GA berarti sudah aman sepenuhnya?

Belum tentu. Dokumentasinya masih memperingatkan potensi kesalahan dan celah keamanan, dan merekomendasikan sandbox serta pengawasan manusia untuk tugas penting.

Sumber

• Gemini API Release Notes (Google AI for Developers)
• Data Studios: Gemini API Computer Use is generally available
• FourWeekMBA: Gemini Computer Use Reaches GA 388 Days After First Preview
• Google Blog: Introducing computer use in Gemini 3.5 Flash
• eCorpIT: Gemini vs Claude vs OpenAI computer use (Juli 2026)