Biaya operasional model AI diprediksi turun hingga 90% pada 2030.
Gartner memprediksi biaya pengoperasian model bahasa besar dengan kapasitas satu triliun parameter diprediksi turun lebih dari 90% pada tahun 2030 dibandingkan 2025. Penurunan ini disebabkan oleh kemajuan infrastruktur semikonduktor, penggunaan chip khusus, serta inovasi desain model. Dibandingkan dengan generasi awal di 2022. teknologi ini berpotensi menjadi hingga 100 kali lebih efisien.
Penurunan biaya ini membuka peluang besar bagi perusahaan untuk memperluas penggunaan AI. Namun, efisiensi tidak hanya bergantung pada harga token yang semakin murah, tetapi juga pada bagaimana sistem dirancang dan dioperasikan secara strategis.
Strategi utama yang disarankan adalah memisahkan beban kerja berdasarkan kompleksitas. Tugas rutin dapat dijalankan oleh model kecil yang lebih hemat biaya, sementara model besar hanya digunakan untuk kebutuhan advanced reasoning yang lebih kompleks.
AI memiliki beberapa fungsi utama dalam operasional bisnis. Pertama, mengotomatiskan tugas administratif dengan biaya token yang semakin rendah. Kedua, menjadi penggerak AI agent yang mampu menjalankan pekerjaan secara mandiri. Ketiga, mendukung pemrosesan lokal untuk meningkatkan kecepatan respon dan keamanan data.
“Peningkatan efisiensi biaya ini akan didorong oleh kombinasi peningkatan efisiensi semikonduktor dan infrastruktur, inovasi dalam desain model, pemanfaatan chip yang lebih tinggi, peningkatan penggunaan chip khusus inferensi, serta penerapan perangkat tepi untuk kasus penggunaan tertentu,” kata Will Sommer, Will Sommer, Sr. Director Analyst di Gartner.
Gartner menambahkan, terdapat dua skenario utama yang digunakan untuk menghitung proyeksi biaya:
- Skenario Frontier: Menggunakan teknologi chip paling mutakhir sebagai dasar perhitungan biaya
- Skenario Campuran: Menggunakan kombinasi berbagai generasi semikonduktor yang tersedia saat ini
Meskipun biaya per token menurun drastis, total pengeluaran diprediksi tetap meningkat karena lonjakan penggunaan. Model AI generatif saat ini membutuhkan 5 hingga 30 kali lebih banyak token dibandingkan aplikasi percakapan standar untuk menyelesaikan satu tugas.
Tanpa arsitektur sistem yang efisien, perusahaan berisiko menghadapi lonjakan biaya operasional meskipun harga teknologi terlihat semakin murah. Oleh karena itu, optimalisasi desain sistem menjadi faktor kunci dalam mengendalikan biaya di penerapan AI skala besar.
