(Source: Intel)
Potensi GenAI dalam mengotomatisasi tugas, meningkatkan alur kerja, dan menciptakan produk serta layanan baru sangat jelas terlihat, menarik minat investasi global yang diperkirakan akan melonjak dalam waktu dekat. Namun, di balik manfaat yang ditawarkan, adopsi GenAI secara luas menghadapi tantangan mendasar. Kebutuhan akan daya komputasi yang sangat besar, yang seringkali memerlukan perangkat keras pemrosesan khusus yang berharga sangat mahal.
Untuk mengatasi hambatan biaya ini dan membuat kemampuan AI yang kuat lebih mudah diakses oleh perusahaan, IBM Cloud telah mengambil langkah penting dengan menjadi penyedia layanan cloud pertama yang menghadirkan akselerator AI Intel Gaudi 3 bagi pelanggannya. Kolaborasi antara IBM dan Intel dalam implementasi komersial besar pertama Gaudi 3 di lingkungan cloud ini dirancang untuk memungkinkan klien menguji, berinovasi, dan menerapkan solusi GenAI secara efektif dari sisi biaya.
Akselerator Intel Gaudi 3 dirancang secara spesifik untuk menangani permintaan yang meledak terhadap GenAI, termasuk inferensi model bahasa besar (LLMs) dan fine-tuning model, sekaligus mendukung kerangka kerja pengembangan yang terbuka. Perangkat ini sangat ideal untuk menjalankan LLMs multimodal dan aplikasi retrieval-augmented generation (RAG). Keunggulan utama Gaudi 3 terletak pada keseimbangan performa dan harga yang menghasilkan efisiensi biaya signifikan. Hasil benchmark terbaru menunjukkan bahwa Gaudi 3 menawarkan efisiensi biaya hingga 92% lebih tinggi (performa per dolar) dibandingkan pesaing pada beban kerja tertentu. Gaudi 3 juga memberikan performa pemrosesan AI yang lebih cepat (throughput), seperti 43% lebih banyak tokens per detik untuk beban kerja kecil dan 36% lebih banyak tokens per detik untuk konteks besar dibandingkan pesaing pada model spesifik.
Akselerator Gaudi 3 kini tersedia di beberapa wilayah IBM Cloud, termasuk Frankfurt (Jerman), Washington, D.C., dan Dallas (Texas). Pelanggan dapat mengaksesnya melalui IBM Cloud Virtual Servers pada IBM Virtual Private Cloud (VPC). IBM juga berencana untuk mengintegrasikan Gaudi 3 ke dalam penawaran AI mereka yang lebih luas. IBM Cloud melayani beragam pelanggan perusahaan, terutama di industri yang teregulasi ketat seperti layanan keuangan, kesehatan, sektor publik, dan retail, yang telah memanfaatkan cloud untuk aplikasi AI seperti deteksi penipuan, diagnostik berbasis AI, atau manajemen inventaris.
”Intel Gaudi 3 memberikan lebih banyak pilihan, lebih banyak kebebasan, dan platform yang lebih hemat biaya kepada pelanggan untuk memilih perangkat keras AI yang ingin mereka gunakan.” Kata Satinder Sethi, general manager of IBM Cloud Infrastructure Services.
