(Source: Freepik)
Penggunaan kecerdasan buatan (AI) yang semakin meluas membawa tantangan baru terkait keamanan dan keandalan. Seiring dengan meningkatnya kemampuan agen AI untuk bertindak lebih mandiri, risiko kesalahan atau penyalahgunaan juga turut meningkat. Dalam kondisi yang terus berkembang ini, dibutuhkan mekanisme pengawasan dan perlindungan canggih untuk memastikan sistem AI beroperasi sesuai tujuan dan tetap dapat dipercaya.
Menanggapi tantangan ini, agen penjaga (guardian agents) diprediksi akan menjadi solusi penting, dengan Gartner memperkirakan teknologi ini akan menguasai 10 hingga 15% pasar AI agen pada tahun 2030. Agen penjaga adalah teknologi berbasis AI yang dirancang khusus untuk mendukung interaksi yang dapat dipercaya dan aman dengan AI. Mereka berperan ganda. Satu sisi, mereka bertindak sebagai asisten AI yang membantu pengguna dalam tugas-tugas seperti peninjauan konten, pemantauan, dan analisis. Di sisi lain, mereka berfungsi sebagai agen semi-otonom atau otonom yang mampu merumuskan, melaksanakan, serta mengarahkan atau memblokir tindakan agar selaras dengan tujuan yang telah ditentukan.
Agen penjaga memanfaatkan berbagai kemampuan AI agen dan evaluasi berbasis AI yang deterministik untuk mengawasi serta mengelola seluruh rentang kemampuan agen, menyeimbangkan pengambilan keputusan saat beroperasi dengan manajemen risiko. Hal ini menjadi sangat penting mengingat 52% agen AI saat ini fokus pada fungsi administrasi internal, namun berpotensi menghadapi ancaman seperti manipulasi input, pencurian kredensial, hingga penyimpangan perilaku.
Avivah Litan, VP Distinguished Analyst di Gartner, mengatakan, “Agen penjaga memanfaatkan spektrum luas dari kemampuan AI agenik dan evaluasi deterministik berbasis AI untuk mengawasi dan mengelola berbagai kemampuan agen, menyeimbangkan pengambilan keputusan saat proses berjalan dengan manajemen risiko.”
Gartner mengidentifikasi tiga jenis utama penggunaan agen penjaga yang akan berkontribusi dalam menjaga dan melindungi interaksi AI. Agen penjaga dapat berfungsi sebagai peninjau, yaitu mengidentifikasi dan meninjau keluaran serta konten yang dihasilkan AI demi akurasi dan penggunaan yang dapat diterima. Lalu, sebagai pemantau, mereka bertugas mengamati dan melacak tindakan AI dan agen untuk tindak lanjut, baik oleh manusia maupun AI. Terakhir, sebagai pelindung, agen penjaga dapat menyesuaikan atau bahkan memblokir tindakan dan izin AI serta agen secara otomatis selama operasi.
Peran agen penjaga akan semakin vital di masa depan, terutama mengingat prediksi Gartner bahwa 70% aplikasi AI akan menggunakan sistem multi-agen pada tahun 2028. Dengan demikian, agen penjaga akan menjadi pilar utama dalam mengelola interaksi dan anomali, tanpa memandang jenis penggunaannya.
