Anthropic memperkenalkan kerangka kerja AI agent yang aman dan terkendali.
Anthropic memperkenalkan pendekatan baru untuk membangun AI agen yang dapat dipercaya. Fokus utamanya bukan hanya pada kemampuan, tetapi juga pada keamanan dan kendali agar teknologi ini tetap sejalan dengan kebutuhan pengguna.
Pendekatan ini dibangun di atas lima prinsip utama AI agent:
- Menjaga kendali tetap berada di tangan manusia
- Menyelaraskan perilaku agent dengan nilai pengguna
- Mengamankan setiap interaksi yang dilakukan agent
- Menjaga transparansi dalam proses kerja
- Melindungi data pribadi pengguna
Agent bekerja dalam siklus berulang yang terstruktur. Proses ini dimulai dari penyusunan rencana, dilanjutkan dengan tindakan, kemudian observasi hasil, dan dituntaskan dengan perbaikan langkah hingga tugas selesai.
Sebagai gambaran, agent dapat membantu proses administrasi seperti pengelolaan laporan biaya perjalanan. Sistem akan membaca dokumen, mengekstrak informasi, mengelompokkan data, hingga mengirimkan hasilnya ke sistem perusahaan.
Pengguna tetap memiliki kontrol penuh terhadap akses yang diberikan kepada agent. Setiap tindakan sensitif seperti membaca kalender atau mengirim undangan dapat diatur untuk memerlukan persetujuan terlebih dahulu.
Fitur mode perencanaan memungkinkan pengguna melihat seluruh langkah kerja agent sebelum dijalankan. Ini memberi kesempatan bagi pengguna untuk memeriksa, mengubah, atau menyetujui strategi yang akan digunakan.
Agent juga dirancang untuk mengenali situasi yang tidak jelas. Alih-alih mengambil keputusan sendiri, sistem akan berhenti dan meminta klarifikasi agar tetap sesuai dengan maksud pengguna.
Dari sisi keamanan, sistem dilengkapi perlindungan terhadap serangan seperti prompt injection yang mencoba memanipulasi perilaku agent. Selain itu, pendekatan standar terbuka digunakan agar berbagai sistem dapat terhubung dengan aman.
