(Source: Alibaba)
Bagi pengembang dan bisnis dengan sumber daya terbatas, metode pelatihan kecerdasan buatan (AI) bisa menjadi proses yang sangat mahal dan membatasi jangkauan serta skalabilitas karena mengandalkan interaksi berulang dan skala besar dengan mesin pencari komersial melalui panggilan API. Kualitas hasil pencarian yang terkadang tidak konsisten juga dapat memengaruhi efektivitas proses pelatihan itu sendiri. Situasi ini menuntut adanya pendekatan baru yang lebih efisien dan terjangkau untuk membuka potensi penuh model bahasa terbuka atau large language model (LLM) dalam tugas pencarian.
Untuk mencapai inovasi dalam pelatihan LLM serta pencarian yang efisien dan terjangkau, Alibaba mengembangkan pendekatan revolusioner bernama ZEROSEARCH. Ini merupakan metode untuk melatih LLM yang secara fundamental mengubah cara model diajarkan dalam melakukan tugas pencarian. Alih-alih bergantung pada interaksi langsung dengan mesin pencari berbayar, ZEROSEARCH melatih model untuk mensimulasikan perilaku pencarian itu sendiri. Dengan mengeliminasi panggilan API yang mahal ke mesin pencari komersial, ZEROSEARCH berhasil menurunkan biaya pelatihan AI untuk tugas pencarian hingga hampir 90%, sehingga fungsionalitas pencarian berbasis AI tingkat lanjut menjadi jauh lebih terjangkau dan dapat diakses.
Dalam pengujian, model yang dilatih dengan ZEROSEARCH menyamai atau melampaui kinerja model yang dilatih dengan API mesin pencari lainnya. Misalnya, modul pencarian Qwen2.5-7B menunjukkan kinerja yang sebanding dengan Google Search, sedangkan modul 14B yang lebih besar melampaui kemampuan Google, mencapai pengurangan biaya pelatihan sebesar 88%.
“Dengan mengurangi secara drastis biaya yang dibutuhkan dalam melatih LLM untuk mensimulasikan perilaku mesin pencari, kami memungkinkan para pengembang dan bisnis, terutama usaha kecil dan menengah, untuk secara mandiri mengembangkan kerangka kerja reinforcement learning (RL) mereka sendiri tanpa perlu menggunakan mesin pencari yang mahal,” kata Huang Fei, head of Tongyi Natural Language Processing Lab, Alibaba.
ZEROSEARCH bekerja melalui strategi simulasi dua langkah, yang secara efektif menghilangkan kebutuhan akan panggilan API yang mahal ke mesin pencari eksternal. Langkah pertama ialah menerapkan fine-tuning yang diawasi dengan bobot ringan untuk mengubah LLM menjadi modul pengambilan. Modul ini digunakan untuk menghasilkan dokumen relevan berdasarkan pertanyaan pengguna. Berikutnya, dalam fase pembelajaran penguatan, fungsi langkah kedua adalah memanfaatkan strategi awal berbasis kurikulum. Pendekatan ini secara bertahap menurunkan kualitas dokumen simulasi yang dihasilkan.
Inovasi ZEROSEARCH ini sejalan dengan komitmen berkelanjutan Alibaba terhadap AI yang terbuka dan terjangkau. Selain terobosan dalam metode pelatihan, Alibaba juga telah secara aktif merilis berbagai model AI secara open-source dalam berbagai ukuran, bahasa, dan kapabilitas, memberdayakan pengembang di seluruh dunia untuk membangun solusi AI kustom secara hemat biaya.
