Model AI generatif yang sangat general dan dapat digunakan di berbagai bidang pernah menjadi sorotan, dan dapat dikatakan masih demikian. Namun, semakin banyak penyedia cloud besar dan kecil yang bergabung dalam bidang AI generatif, kita melihat sebuah kelompok model baru yang difokuskan pada pelanggan potensial yang bermodal besar: perusahaan.
Kasus yang jelas adalah Snowflake, perusahaan komputasi cloud, saat ini memperkenalkan Arctic LLM, sebuah model AI generatif yang disebut sebagai “berkelas enterprise.” Tersedia dengan lisensi Apache 2.0, Arctic LLM dioptimalkan untuk “beban kerja enterprise,” termasuk dalam menghasilkan kode basis data, kata Snowflake, dan gratis untuk penelitian dan penggunaan komersial.
“Saya pikir ini akan menjadi dasar yang akan memungkinkan kami - Snowflake - dan pelanggan kami membangun produk berkelas enterprise dan benar-benar mulai merealisasikan janji dan nilai AI,” kata CEO Sridhar Ramaswamy dalam konferensi pers. “Anda seharusnya memikirkan ini sangat penting sebagai langkah pertama kami dalam dunia AI generatif, dengan banyak hal lain yang akan datang.”
Sebuah model enterprise
Rekan saya Devin Coldewey baru-baru ini menulis tentang bagaimana tidak ada akhir yang terlihat dari model AI generatif. Saya sarankan Anda membaca tulisannya, namun intinya adalah: Model merupakan cara mudah bagi vendor untuk menimbulkan kegembiraan terhadap penelitiannya dan juga menjadi jalur ke ecosystem produk mereka (misalnya, hosting model, fine-tuning, dan lainnya).
Arctic LLM tidak berbeda. Model andalan Snowflake dalam keluarga model AI generatif bernama Arctic, Arctic LLM - yang membutuhkan sekitar tiga bulan, 1.000 GPU dan $2 juta untuk dilatih - tiba setelah DBRX dari Databricks, sebuah model AI generatif yang juga dipasarkan sebagai dioptimalkan untuk ruang enterprise.
Snowflake membuat perbandingan langsung antara Arctic LLM dan DBRX dalam materi persnya, mengatakan Arctic LLM unggul dalam dua tugas pengkodean (Snowflake tidak menentukan bahasa pemrograman mana) dan menghasilkan SQL. Perusahaan juga mengatakan bahwa Arctic LLM lebih baik dalam tugas-tugas tersebut daripada Llama 2 70B dari Meta (namun bukan Llama 3 70B yang lebih baru) dan Mixtral-8x7B dari Mistral.
Snowflake juga mengklaim bahwa Arctic LLM mencapai “kinerja terkemuka” dalam benchmark pemahaman bahasa umum yang populer, MMLU. Saya perlu mencatat, meskipun MMLU mengklaim untuk mengevaluasi kemampuan model generatif dalam merespons masalah logika, benchmark ini mencakup uji coba yang dapat diselesaikan melalui hafalan, jadi ambil poin tersebut dengan bijaksana.
“Arctic LLM menangani kebutuhan spesifik dalam sektor enterprise,” kata Baris Gultekin, kepala AI di Snowflake, kepada TechCrunch dalam sebuah wawancara, “menyimpang dari aplikasi generik AI seperti menulis puisi untuk fokus pada tantangan berorientasi enterprise, seperti pengembangan co-pilot SQL dan chatbot berkualitas tinggi.”
Arctic LLM, seperti DBRX dan model generatif andalan Google saat ini, Gemini 1.5 Pro, adalah arsitektur campuran pakar (MoE). Arsitektur MoE pada dasarnya membagi tugas pemrosesan data menjadi sub-tugas dan kemudian menugaskannya kepada model “pakar” kecil dan spesialis. Jadi, meskipun Arctic LLM berisi 480 miliar parameter, hanya 17 miliar yang diaktifkan pada satu waktu - cukup untuk menggerakkan 128 model pakar terpisah. (Parameter pada dasarnya menentukan keahlian model AI dalam suatu masalah, seperti menganalisis dan menghasilkan teks.)
Snowflake mengklaim desain yang efisien ini memungkinkan mereka melatih Arctic LLM pada kumpulan data web publik (termasuk RefinedWeb, C4, RedPajama, dan StarCoder) dengan biaya “sekitar satu perdelapan dari model-model serupa.”
Menjalankan di mana saja
Snowflake menyediakan sumber daya seperti template pemrograman dan daftar sumber pelatihan bersama Arctic LLM untuk membimbing pengguna melalui proses pengoperasian model dan fine-tuning untuk kasus pengguna tertentu. Namun, menyadari bahwa itu kemungkinan akan menjadi proyek yang mahal dan rumit bagi sebagian besar pengembang (fine-tuning atau menjalankan Arctic LLM membutuhkan sekitar delapan GPU), Snowflake juga berjanji untuk membuat Arctic LLM tersedia di berbagai host, termasuk Hugging Face, Microsoft Azure, layanan hosting model Together AI, dan platform AI generatif enterprise Lamini.
Namun, Arctic LLM akan tersedia terlebih dahulu di Cortex, platform Snowflake untuk membangun aplikasi dan layanan yang didukung AI dan machine learning. Perusahaan dapat dipastikan akan mempromosikan ini sebagai cara yang disukai untuk menjalankan Arctic LLM dengan “keamanan,” “tata kelola,” dan skalabilitas.
“Mimpi kami di sini adalah, dalam waktu satu tahun, memiliki API yang dapat digunakan pelanggan kami sehingga pengguna bisnis dapat langsung berbicara dengan data,” kata Ramaswamy. “Sudah mudah bagi kami untuk berkata, ‘Oh, kita akan menunggu model open source tertentu dan kita akan menggunakannya. Sebaliknya, kami membuat investasi dasar karena kami percaya itu akan membuka lebih banyak nilai bagi pelanggan kami.”
Jadi saya bertanya-tanya: Untuk siapa sebenarnya Arctic LLM selain pelanggan Snowflake?
Di tengah penuhnya model generatif “terbuka” yang dapat disesuaikan untuk hampir tujuan manapun, Arctic LLM tidak terlihat mencolok dengan cara apa pun. Arsitekturnya mungkin memberikan keuntungan efisiensi dibandingkan beberapa pilihan lain di luar sana. Namun, saya tidak yakin bahwa mereka akan cukup dramatis untuk mengalihkan perhatian perusahaan dari banyak model generatif lain yang sudah dikenal dan didukung dengan baik, yang ramah bisnis (misalnya, GPT-4).
Ada juga hal yang perlu dipertimbangkan dari sisi Arctic LLM: konteksnya yang relatif kecil.
Dalam AI generatif, jendela konteks merujuk pada data masukan (misalnya, teks) yang dipertimbangkan oleh sebuah model sebelum menghasilkan keluaran (misalnya, teks lagi). Model dengan jendela konteks kecil rentan untuk lupa terhadap konten percakapan bahkan yang sangat baru, sementara model dengan konteks yang lebih besar biasanya menghindari kesalahan ini.
Konteks Arctic LLM berada di antara ~8.000 dan ~24.000 kata, tergantung pada metode fine-tuning - jauh di bawah model seperti Claude 3 Opus dari Anthropic dan Gemini 1.5 Pro dari Google.
Snowflake tidak menyebutkannya dalam pemasaran, namun Arctic LLM hampir pasti mengalami batasan dan kekurangan yang sama seperti model AI generatif lainnya - yaitu, halusinasi (misalnya, menjawab permintaan secara salah dengan percaya diri). Karena Arctic LLM, bersama dengan setiap model AI generatif lainnya yang ada, merupakan mesin probabilitas statistik - yang, sekali lagi, memiliki jendela konteks yang kecil. Model ini menebak berdasarkan banyak contoh data mana yang paling “masuk akal” untuk ditempatkan di mana (misalnya, kata “pergi” sebelum “pasar” dalam kalimat “Saya pergi ke pasar”). Ia akan tak terhindarkan melakukan tebakan yang salah - dan itulah sebuah “halusinasi”.
Seperti yang ditulis Devin dalam tulisannya, sampai terjadi terobosan teknis utama berikutnya, perbaikan bertahap adalah satu-satunya yang bisa kita harapkan di domain AI generatif. Namun, itu tidak akan menghentikan vendor seperti Snowflake untuk mempromosikannya sebagai prestasi besar, dan memasarkannya sebesar apapun nilainya.
