Risiko keamanan pada aplikasi GenAI meningkat pesat. Gartner memprediksi lonjakan insiden hingga 2029.
Penggunaan generative AI di perusahaan yang terus meningkat dibarengi juga dengan risikonya.
Gartner memperkirakan 25% aplikasi GenAI akan mengalami setidaknya lima insiden keamanan minor setiap tahun pada 2028. Angka ini meningkat signifikan dibandingkan 2025 yang masih berada di kisaran 9%.
Risiko utama muncul dari arsitektur sistem yang semakin terbuka dan fleksibel. Integrasi dengan berbagai sumber data, plugin, serta AI agent membuat permukaan serangan menjadi lebih luas. Kesalahan konfigurasi atau kurangnya kontrol keamanan dapat membuka celah bagi pihak eksternal untuk mengakses sistem internal.
“MCP dirancang dengan mengutamakan interoperabilitas, kemudahan penggunaan, dan fleksibilitas, sehingga kesalahan keamanan dapat terjadi tanpa pengawasan berkelanjutan terhadap AI otonom,” kata Aaron Lord, Sr. Director Analyst di Gartner. “Karena hal ini, tingkat insiden keamanan minor dalam aplikasi GenAI diperkirakan akan meningkat. Pada akhirnya, kita akan melihat 15% dari seluruh aplikasi GenAI perusahaan mengalami setidaknya satu insiden keamanan besar per tahun pada 2029, naik dari 3% pada 2025.”
Situasi ini meningkatkan potensi serangan berbasis manipulasi input eksternal. Penyerang dapat menyisipkan perintah tersembunyi dalam data atau prompt untuk mempengaruhi keputusan sistem secara tidak sah.
Perusahaan perlu membangun proses peninjauan keamanan yang lebih ketat sebelum mengadopsi GenAI dalam skala besar. Langkah awal yang penting adalah mengklasifikasikan penggunaan berdasarkan tingkat risiko, mulai dari penggunaan umum hingga akses terhadap data sensitif.
Selain itu, organisasi harus memperketat validasi terhadap komponen pihak ketiga yang terintegrasi dalam sistem. Setiap modul eksternal berpotensi menjadi titik masuk bagi ancaman jika tidak diaudit secara menyeluruh.
Pengaturan kontrol akses juga menjadi elemen krusial. Sistem harus mampu membatasi akses data secara ketat agar AI agent tidak mengungkap informasi rahasia di luar konteks tugas yang diberikan.
Pendekatan keamanan modern juga menuntut penerapan identitas khusus untuk AI agent. Dengan model ini, izin akses tidak lagi disamakan dengan pengguna manusia, melainkan dibatasi sesuai fungsi spesifik yang dijalankan oleh sistem.
Jika langkah-langkah ini tidak diterapkan, Gartner memprediksi bahwa pada 2029 sekitar 15% aplikasi GenAI akan mengalami setidaknya satu insiden keamanan besar. Angka ini meningkat tajam dari hanya 3% pada 2025.
