Etched membangun chip kecerdasan buatan yang hanya menjalankan satu jenis model

Seiring kecerdasan buatan generatif menyentuh sejumlah industri yang semakin banyak, perusahaan yang memproduksi chip untuk menjalankan model-model tersebut mendapatkan manfaat yang besar. Nvidia khususnya, yang menguasai sekitar 70% hingga 95% pasar untuk chip kecerdasan buatan, memiliki pengaruh yang besar. Penyedia cloud dari Meta hingga Microsoft menghabiskan miliaran dolar untuk GPU Nvidia, khawatir tertinggal dalam kecerdasan buatan generatif.

Vendor kecerdasan buatan generatif tidak puas dengan status quo dengan alasan yang dapat dimengerti. Sebagian besar kesuksesan mereka bergantung pada kepentingan para produsen chip yang dominan. Dan karenanya, mereka, bersama dengan pelaku modal ventura oportunis, tengah mencari upstarts yang menjanjikan untuk menantang para pemain lama di industri chip kecerdasan buatan.

Etched adalah salah satu dari banyak perusahaan chip alternatif yang bersaing untuk mendapatkan tempat di meja — tetapi juga salah satu yang paling menarik. Hanya berusia dua tahun, Etched didirikan oleh pasangan mahasiswa drop-out Harvard, Gavin Uberti (mantan OctoML dan mantan Xnor.ai) dan Chris Zhu, yang bersama dengan Robert Wachen dan mantan CTO Cypress Semiconductor Mark Ross berusaha menciptakan chip yang dapat melakukan satu hal: menjalankan model-model kecerdasan buatan.

Itu tidak biasa. Banyak startup dan raksasa teknologi memiliki — atau sedang — mengembangkan chip yang secara eksklusif menjalankan model-model kecerdasan buatan, juga dikenal sebagai chip inferencing. Meta memiliki MTIA, Amazon memiliki Graviton dan Inferentia dan sebagainya. Tetapi chip Etched unik karena hanya menjalankan satu jenis model: transformer.

Transformer, yang diajukan oleh tim peneliti Google pada tahun 2017, telah menjadi arsitektur model kecerdasan buatan generatif yang dominan jauh.

Transformer mendasari model pembuat video OpenAI Sora. Mereka berada di jantung model pembuat teks seperti Claude dari Anthropic dan Gemini dari Google. Dan mereka menggerakkan generator seni seperti versi terbaru dari Stable Diffusion.

“Pada tahun 2022, kami mempertaruhkan bahwa transformer akan mengambil alih dunia,” kata CEO Etched, Uberti, kepada TechCrunch dalam sebuah wawancara. “Kami telah mencapai titik dalam evolusi kecerdasan buatan di mana chip khusus yang dapat berperforma lebih baik dari GPU umum adalah suatu keharusan — dan para pengambil keputusan teknis di dunia ini tahu hal tersebut.”

Chip Etched, yang disebut Sohu, adalah sebuah ASIC (application-specific integrated circuit) — chip yang disesuaikan untuk aplikasi tertentu, dalam hal ini menjalankan transformer. Diproduksi menggunakan proses 4nm TSMC, Sohu dapat memberikan performa inferencing secara dramatis lebih baik dari GPU dan chip kecerdasan buatan lainnya sambil mengonsumsi energi yang lebih sedikit, klaim Uberti.

“Sohu memiliki kecepatan dan efisiensi yang lebih baik dengan harga yang lebih murah dibandingkan dengan GPU generasi berikutnya Nvidia Blackwell GB200 ketika menjalankan transformer teks, gambar, dan video,” Uberti mengatakan. “Sebuah server Sohu menggantikan 160 H100 GPU … Sohu akan menjadi pilihan yang lebih terjangkau, efisien, dan ramah lingkungan bagi para pemimpin bisnis yang membutuhkan chip khusus.”

Bagaimana Sohu mencapai semua ini? Dalam beberapa cara, tetapi yang paling jelas — dan intuitif — adalah sebuah alur kerja perangkat keras dan perangkat lunak inferencing yang disederhanakan. Karena Sohu tidak menjalankan model non-transformer, tim Etched berhasil menghilangkan komponen perangkat keras yang tidak relevan untuk transformer sambil memangkas overhead perangkat lunak yang secara tradisional digunakan untuk mendeploy dan menjalankan non-transformer.

Grafik dari Etched membandingkan performa perangkat keras menjalankan model terbuka Llama 70B Meta.
Kredit Gambar: Etched

Etched tiba di saat yang krusial dalam perlombaan infrastruktur kecerdasan buatan generatif. Di luar kekhawatiran akan biaya, GPU dan komponen perangkat keras lain yang diperlukan untuk menjalankan model dalam skala besar saat ini sangat boros energi.

Goldman Sachs memperkirakan bahwa kecerdasan buatan bersiap untuk menggerakkan peningkatan 160% dalam permintaan listrik pusat data pada tahun 2030, yang berkontribusi pada peningkatan emisi gas rumah kaca yang signifikan. Peneliti di UC Riverside, sementara itu, memperkirakan penggunaan AI global dapat menyebabkan pusat data menyerap 1,1 hingga 1,7 triliun galon air tawar bersih pada tahun 2027, mempengaruhi sumber daya lokal. (Banyak pusat data menggunakan air untuk mendinginkan server.)

Uberti dengan optimis — atau bombastis, tergantung pada bagaimana Anda menafsirkannya — menjual Sohu sebagai solusi atas masalah konsumsi industri.

“Singkatnya, pelanggan masa depan kami tidak akan mampu tidak beralih ke Sohu,” kata Uberti. “Perusahaan bersedia berspekulasi pada Etched karena kecepatan dan biaya adalah hal yang esensial untuk produk-produk kecerdasan buatan yang mereka coba bangun.”

Tapi apakah Etched — dengan asumsi perusahaan tersebut memenuhi tujuannya untuk membawa Sohu ke pasar massal dalam beberapa bulan ke depan — dapat berhasil ketika begitu banyak lainnya mengikuti di belakangnya?

Meskipun Etched tidak memiliki pesaing langsung saat ini, startup chip kecerdasan buatan Perceive baru-baru ini memperkenalkan sebuah prosesor dengan akselerasi perangkat keras untuk transformer. Groq juga telah menginvestasikan secara besar-besaran dalam optimasi khusus transformer untuk ASIC-nya.

Di samping persaingan, bagaimana jika transformer suatu hari keluar dari favorit? Uberti mengatakan bahwa, dalam hal itu, Etched akan melakukan hal yang jelas: merancang chip baru. Lumayanlah. Tetapi itu adalah fallback yang cukup drastis, mengingat berapa lama dibutuhkan untuk membawa Sohu menjadi kenyataan.

Tidak ada dari kekhawatiran ini meluluhkan investor untuk menuangkan sejumlah besar uang ke Etched.

Hari ini, Etched mengumumkan bahwa perusahaan tersebut telah menyelesaikan putaran pendanaan Seri A sebesar $120 juta yang dipimpin bersama oleh Primary Venture Partners dan Positive Sum Ventures. Dengan total penggalangan dana Etched mencapai $125,36 juta, putaran tersebut melibatkan partisipasi dari investor angel berat seperti Peter Thiel (Uberti, Zhu, dan Wachen adalah alumnus Fellowship Thiel), CEO GitHub Thomas Dohmke, co-founder Cruise (dan Bot Company) Kyle Vogt, dan co-founder Quora Charlie Cheever.

Investor-investor ini mungkin percaya bahwa Etched memiliki kesempatan yang wajar untuk berhasil mengembangkan bisnisnya dalam penjualan server. Dan mungkin benar — Uberti mengklaim bahwa pelanggan yang tidak disebutkan namanya telah memesan "puluhan juta dolar" dalam perangkat keras sejauh ini. Peluncuran Sohu Developer Cloud yang akan datang, yang akan memungkinkan pelanggan untuk melihat pratinjau Sohu melalui taman bermain interaktif online, seharusnya memacu penjualan tambahan, saran Uberti.

Sepertinya masih terlalu dini, bagaimanapun, untuk menentukan apakah hal ini akan cukup untuk mendorong Etched dan tim 35 orangnya ke masa depan yang diimpikan oleh para pendiri perusahaan. Segmen chip kecerdasan buatan dapat menjadi sangat tegas di waktu terbaik — lihat hampir-gagalnya dalam skala besar startup chip kecerdasan buatan seperti Mythic dan Graphcore, dan, terkait dengannya, penurunan dana untuk ventura chip kecerdasan buatan pada tahun 2023.

Uberti memberikan penjualan yang kuat, namun: “Generasi video, modalitas audio ke audio, robotika, dan kasus penggunaan kecerdasan buatan masa depan lainnya hanya mungkin dengan chip lebih cepat seperti Sohu. Seluruh masa depan teknologi kecerdasan buatan akan ditentukan oleh apakah infrastruktur dapat melaju.”