Antusiasme untuk awan alternatif belum pernah sebesar ini.
Seperti contoh: CoreWeave, penyedia infrastruktur GPU yang awalnya beroperasi sebagai pertambangan cryptocurrency, pekan ini berhasil mengumpulkan $1.1 miliar dalam pendanaan baru dari investor termasuk Coatue, Fidelity, dan Altimeter Capital. Dikabarkan menghargai startup ini sebesar $19 miliar pasca-uang, pendanaan baru ini membawa total CoreWeave yang terkumpul menjadi $5 miliar dalam bentuk hutang dan ekuitas - sebuah angka luar biasa untuk perusahaan yang baru berusia kurang dari satu dekade.
Bukan hanya CoreWeave.
Lambda Labs, yang juga menawarkan berbagai instance GPU yang di-host di awan, pada awal April mengamankan "kendaraan pendanaan khusus" hingga $500 juta beberapa bulan setelah menyelesaikan putaran Seri C sebesar $320 juta. Yayasan non-profit Voltage Park, didukung oleh miliuner crypto Jed McCaleb, bulan Oktober lalu mengumumkan bahwa mereka berinvestasi $500 juta dalam pusat data yang didukung oleh GPU. Dan Together AI, host GPU awan yang juga melakukan penelitian AI generatif, pada bulan Maret berhasil mendapatkan $106 juta dalam putaran yang dipimpin oleh Salesforce.
Jadi mengapa begitu banyak antusiasme dan dana mengalir ke ruang awan alternatif? Dalam tiga kata, kecerdasan buatan generatif.
Saat masa keemasan kecerdasan buatan generatif terus berlanjut, demikian pula permintaan akan hardware untuk menjalankan dan melatih model AI generatif dalam skala besar. GPU, secara arsitektural, adalah pilihan logis untuk pelatihan, penyetelan, dan menjalankan model karena mengandung ribuan inti yang dapat bekerja secara paralel untuk melakukan persamaan aljabar linier yang membentuk model generatif.
Tetapi menginstal GPU itu mahal. Sehingga awan adalah pilihan yang paling banyak dipilih oleh pengembang dan organisasi.
Pemain utama dalam ruang komputasi awan - Amazon Web Services (AWS), Google Cloud, dan Microsoft Azure - menawarkan banyak instance GPU dan hardware khusus yang dioptimalkan untuk beban kerja AI generatif. Tetapi untuk setidaknya beberapa model dan proyek, awan alternatif bisa lebih murah - dan memberikan ketersediaan yang lebih baik.
Pada CoreWeave, menyewa Nvidia A100 40GB - salah satu pilihan populer untuk pelatihan model dan inferensi - biayanya $2.39 per jam, yang setara dengan $1,200 per bulan. Di Azure, GPU yang sama biayanya $3.40 per jam, atau $2,482 per bulan; di Google Cloud, biayanya $3.67 per jam, atau $2,682 per bulan.
Mengingat beban kerja AI generatif biasanya dilakukan pada klaster GPU, selisih biaya cepat tumbuh.
\"Perusahaan seperti CoreWeave berpartisipasi dalam pasar yang kami sebut sebagai penyedia awan 'GPU sebagai layanan' khusus,\" kata Sid Nag, VP layanan dan teknologi awan di Gartner, kepada TechCrunch. \"Dengan permintaan yang tinggi terhadap GPU, mereka menawarkan alternatif kepada pemain besar, di mana mereka telah mengambil GPU Nvidia dan memberikan rute lain ke pasar dan akses ke GPU-gpu tersebut.\"
Nag menunjukkan bahwa bahkan beberapa perusahaan teknologi besar telah mulai bergantung pada penyedia awan alternatif ketika mereka menghadapi tantangan kapasitas komputasi.
Pada bulan Juni lalu, CNBC melaporkan bahwa Microsoft telah menandatangani kesepakatan multi-miliar dolar dengan CoreWeave untuk memastikan bahwa OpenAI, pembuat ChatGPT dan mitra dekat Microsoft, memiliki daya komputasi yang cukup untuk melatih model AI generatif mereka. Nvidia, penyedia sebagian besar chip CoreWeave, melihat ini sebagai tren yang diinginkan, mungkin atas alasan leverage; dikabarkan memberikan beberapa penyedia awan alternatif akses preferensial ke GPU-gpu mereka.
Lee Sustar, analis utama di Forrester, melihat vendor awan seperti CoreWeave berhasil sebagian karena mereka tidak memiliki \"bagasi\" infrastruktur yang harus dihadapi oleh penyedia dominant.
\"Dengan dominasi dari pemain besar di pasar awan publik secara keseluruhan, yang menuntut investasi besar dalam infrastruktur dan jangkauan layanan yang tidak memberikan pendapatan yang signifikan, penantang seperti CoreWeave memiliki kesempatan untuk berhasil dengan fokus pada layanan AI premium tanpa beban investasi pada tingkat pemain besar,\" kata dia.
Namun apakah pertumbuhan ini bisa berkelanjutan?
Sustar memiliki keraguan. Dia percaya bahwa ekspansi penyedia awan alternatif akan ditentukan baik oleh (1) apakah mereka dapat terus menyediakan GPU dalam volume tinggi dan (2) menawarkannya dengan harga yang kompetitif rendah.
Bersaing dalam hal harga mungkin menjadi tantangan di masa mendatang karena pemain besar seperti Google, Microsoft, dan AWS meningkatkan investasi dalam hardware khusus untuk menjalankan dan melatih model. Google menawarkan TPU-nya; Microsoft baru-baru ini mengungkapkan dua chip khusus, Azure Maia dan Azure Cobalt; dan AWS memiliki Trainium, Inferentia, dan Graviton.
\"Pemain besar akan memanfaatkan silikon kustom mereka untuk mengurangi ketergantungan pada Nvidia, sementara Nvidia akan melihat ke CoreWeave dan awan AI yang fokus pada GPU lainnya,\" kata Sustar.
Masih ada kenyataan bahwa, meskipun banyak beban kerja AI generatif berjalan dengan baik pada GPU, tidak semua beban kerja membutuhkan mereka - terutama jika mereka tidak bersifat mendesak waktu. CPU dapat menjalankan perhitungan yang diperlukan, tetapi biasanya lebih lambat daripada GPU dan hardware khusus.
Di ranah kekhawatiran eksistensial bagi penyedia awan alternatif adalah ancaman bahwa gelembung AI generatif pecah, yang akan meninggalkan penyedia dengan banyak GPU dan tidak cukup pelanggan yang memintanya. Tetapi masa depan terlihat cerah dalam jangka pendek, kata Sustar dan Nag, keduanya yang mengharapkan aliran terus menerus dari awan baru.
\"Startup awan berorientasi GPU akan memberikan persaingan yang cukup bagi [pemain besar], terutama di antara pelanggan yang sudah multi-awan dan mampu menangani kompleksitas manajemen, keamanan, risiko, dan kepatuhan di beberapa awan,\" kata Sustar. \"Pelanggan awan semacam itu nyaman mencoba awan AI baru jika memiliki kepemimpinan yang kredibel, dukungan keuangan yang solid, dan GPU tanpa waktu tunggu.\"
