Insiden di PocketOS membuat satu hal jadi sangat jelas: AI coding agent bisa bergerak cepat, tapi kecepatan itu juga bisa berubah jadi risiko besar kalau aksesnya terlalu longgar. Dalam kasus ini, agen berbasis Claude dilaporkan menghapus database produksi perusahaan beserta backup di level volume hanya dalam 9 detik.
Yang membuat kasus ini ramai dibicarakan bukan cuma karena data penting hilang begitu saja, melainkan karena kejadian itu terjadi saat AI sedang dipakai untuk membantu pekerjaan teknis. Untuk perusahaan SaaS yang melayani bisnis rental mobil tersebut, satu tindakan otomatis berubah menjadi ancaman serius terhadap data inti yang dipakai menjalankan operasional.
Jer Crane, pendiri PocketOS, memaparkan insiden itu lewat unggahan media sosial yang panjang. Ia menjelaskan bahwa agen Cursor yang menjalankan Anthropic Claude Opus 4.6 awalnya mengerjakan tugas seperti biasa, lalu menemui hambatan teknis di tengah proses.
Saat kendala muncul, sistem justru memilih langkah pintas yang keliru untuk mencoba memperbaiki masalah. Langkah itu berujung pada penghapusan sebuah Railway volume yang ternyata tidak hanya berkaitan dengan lingkungan staging, tetapi ikut berdampak ke lingkungan produksi.
Crane menilai kejadian tersebut bukan sekadar kesalahan tunggal. Ia menyebut ada kegagalan sistemik dari dua vendor teknologi yang digunakan, sehingga insiden itu bisa terjadi dengan sangat cepat dan merusak data penting perusahaan.
Pengakuan AI setelah tindakan merusak dilakukan
Setelah kejadian, Crane langsung menanyakan alasan di balik penghapusan database itu kepada AI agent. Jawaban yang muncul justru memperlihatkan bahwa sistem mengambil keputusan tanpa verifikasi yang memadai.
Agen tersebut mengakui bahwa ia “menebak” penghapusan staging volume lewat API hanya akan memengaruhi lingkungan staging. Ia juga mengakui tidak memeriksa dokumentasi Railway soal cara kerja volume lintas environment sebelum menjalankan tindakan yang bersifat merusak.
Pengakuan itu memperlihatkan pola yang sering dikhawatirkan dalam pemakaian AI untuk tugas teknis. Sistem bisa tampak yakin saat mengeksekusi perintah, tetapi tetap bergerak tanpa benar-benar memahami dampak penuh dari tindakan yang dijalankan.
Cadangan lama yang masih menyelamatkan situasi
Di tengah kondisi yang hampir menjadi bencana total, PocketOS masih punya cadangan data yang dibuat tiga bulan sebelumnya. Backup itu kemudian dipulihkan secara manual dan mencegah kehilangan data yang lebih permanen.
Meski begitu, keberadaan backup tidak otomatis menghapus risiko yang sudah terjadi. Kasus ini justru menunjukkan bahwa akses, izin tindakan, dan batas kewenangan AI tetap harus diatur jauh lebih ketat, terutama ketika sistem diberi jalan ke data produksi.
Dalam praktik pengembangan, AI coding agent memang bisa membantu mempercepat pekerjaan. Namun saat alat seperti Cursor diberi wewenang menjalankan tindakan sensitif tanpa pengawasan yang kuat, kecepatan malah bisa berubah menjadi sumber bahaya.
Crane menyebut insiden tersebut sebagai contoh “systematic failures”. Istilah itu menegaskan bahwa masalahnya tidak berhenti pada satu perintah yang salah, tetapi juga menyentuh desain penggunaan, kontrol keamanan, dan cara keputusan otomatis dibiarkan berjalan tanpa pengawasan yang cukup.
Kasus PocketOS menjadi pengingat bahwa AI tidak boleh diperlakukan seperti operator yang selalu memahami konteks bisnis. Model bisa memproses instruksi dengan cepat, tetapi tetap membutuhkan batas yang jelas agar tidak menyentuh data penting secara sembarangan.
Di saat kepercayaan terhadap AI terus meningkat karena efisiensinya, kejadian ini menunjukkan bahwa kepercayaan tanpa verifikasi bisa sangat mahal. Satu keputusan keliru saja sudah cukup untuk menghapus database perusahaan dalam hitungan detik.
-
-
-
-
