Merupakan kebenaran universal dari sifat manusia bahwa para pengembang yang membangun kode seharusnya bukanlah orang-orang yang mengujinya. Pertama-tama, kebanyakan dari mereka sangat membenci tugas tersebut. Kedua, seperti protokol audit yang baik, mereka yang melakukan pekerjaan seharusnya bukanlah orang-orang yang memverifikasinya.
Tidak mengherankan, kemudian, pengujian kode dalam semua bentuknya - usability, tes bahasa atau tugas tertentu, pengujian end-to-end - telah menjadi fokus dari sekelompok startup AI generatif yang semakin berkembang. Setiap minggu, TechCrunch meliput satu lagi seperti Antitesis (mengumpulkan $47 juta), CodiumAI (mengumpulkan $11 juta) dan QA Wolf (mengumpulkan $20 juta). Dan baru-baru ini bermunculan sepanjang waktu, seperti lulusan Y Combinator baru Momentic.
Salah satu di antaranya adalah startup Nova AI berusia satu tahun, lulusan akselerator Unusual Academy yang telah mengumpulkan putaran pra bibit sebesar $1 juta. Mereka mencoba untuk mengungguli pesaing-pesaing mereka dengan alat pengujian end-to-end mereka dengan melanggar banyak aturan Silicon Valley tentang bagaimana startup seharusnya beroperasi, pendiri/CEO Zach Smith mengatakan kepada TechCrunch.
Sementara pendekatan standar Y Combinator adalah untuk memulai dengan kecil, Nova AI menargetkan perusahaan-perusahaan menengah hingga besar dengan basis kode yang kompleks dan kebutuhan mendesak sekarang. Smith menolak untuk menyebutkan nama pelanggan yang menggunakan atau menguji produknya kecuali untuk menggambarkannya sebagai kebanyakan startup yang didukung oleh modal ventura di tahap akhir (Series C atau seterusnya) di sektor e-commerce, fintech, atau produk konsumen, dan “pengalaman pengguna yang intens. Waktu henti untuk fitur-fitur ini sangat mahal.”
Teknologi Nova AI menyaring kode-kode pelanggannya untuk membangun tes secara otomatis menggunakan GenAI. Ini sangat cocok untuk lingkungan integrasi terus-menerus dan pengiriman/penyebaran kontinu (CI/CD) di mana insinyur-insinyur terus-menerus mengirimkan potongan-potongan kecil ke dalam kode produksi mereka.
Ide untuk Nova AI muncul dari pengalaman Smith dan rekan pendiri Jeffrey Shih saat mereka adalah insinyur-insinyur yang bekerja untuk perusahaan teknologi besar. Smith adalah mantan pekerja Google yang bekerja di tim-tim terkait cloud yang membantu pelanggan menggunakan banyak teknologi otomatisasi. Shih sebelumnya bekerja di Meta (juga di Unity dan Microsoft sebelumnya) dengan spesialisasi AI yang langka yang melibatkan data sintetis. Mereka kemudian menambahkan seorang pendiri ketiga, seorang ilmuwan data AI Henry Li.
Aturan lain yang tidak diikuti Nova AI: Sementara banyak startup AI sedang membangun di atas GPT unggulan industri OpenAI, Nova AI menggunakan Chat GPT-4 sebanyak mungkin. Tidak ada data pelanggan yang disalurkan ke OpenAI.
Sementara OpenAI menjanjikan bahwa data dari mereka yang berlangganan paket bisnis tidak digunakan untuk melatih modelnya, perusahaan tetap tidak percaya pada OpenAI, kata Smith kepada kami. “Ketika kami berbicara dengan perusahaan-perusahaan besar, mereka berkata, ‘Kami tidak ingin data kami masuk ke OpenAI,” kata Smith.
Tim teknik dari perusahaan-perusahaan besar bukanlah satu-satunya yang merasa seperti ini. OpenAI sedang menghadapi sejumlah gugatan dari mereka yang tidak ingin digunakan karyanya untuk pelatihan model, atau percaya bahwa karyanya akhirnya, tanpa izin dan tidak dibayar, masuk ke dalam keluaran keluarannya.
Sebagai gantinya, Nova AI sangat bergantung pada model open source seperti Llama yang dikembangkan oleh Meta dan StarCoder (dari komunitas BigCoder, yang dikembangkan oleh ServiceNow dan Hugging Face), serta membangun modelnya sendiri. Mereka belum menggunakan Gemma dari Google dengan pelanggan, tetapi telah mengujinya dan “melihat hasil yang bagus,” kata Smith.
Sebagai contoh, ia menjelaskan bahwa OpenAI menawarkan model untuk vektor embeddings. Vektor embeddings menerjemahkan potongan-potongan teks menjadi angka sehingga LLM dapat melakukan berbagai operasi, seperti mengelompokkannya dengan potongan teks lain yang serupa. Nova AI tidak menggunakan embeddings OpenAI dan malah menggunakan open source untuk ini pada kode sumber pelanggan. Mereka hanya menggunakan alat-alat OpenAI untuk membantu mereka menghasilkan beberapa kode dan melakukan beberapa tugas pelabelan, dan bertindak ekstra hati-hati untuk tidak mengirimkan data pelanggan ke OpenAI.
“Dalam hal ini, daripada menggunakan model embedding OpenAI, kami menyusun model embedding open source kami sendiri sehingga saat kami perlu menjalankannya melalui setiap file, kami tidak hanya mengirimkannya ke OpenAI,” jelas Smith.
Sementara tidak mengirimkan data pelanggan ke OpenAI menenangkan perusahaan-perusahaan yang gelisah, model AI open source juga lebih murah dan lebih dari cukup untuk melakukan tugas-tugas tertentu secara spesifik, demikian menurut penemuan Smith. Dalam hal ini, mereka berfungsi baik untuk menulis tes.
“Industri LLM open source benar-benar membuktikan bahwa mereka dapat mengalahkan GPT 4 dan penyedia domain besar ini, ketika Anda sangat spesifik,” katanya. “Kita tidak perlu menyediakan model raksasa yang dapat memberi tahu Anda apa yang diinginkan nenek Anda untuk ulang tahunnya. Benar? Kita perlu menulis tes. Dan itu saja. Jadi model-model kami telah disesuaikan khusus untuk itu.”
Model open source juga berkembang dengan cepat. Misalnya, Meta baru-baru ini memperkenalkan versi baru Llama yang mendapatkan pujian di kalangan teknologi dan mungkin meyakinkan lebih banyak startup AI untuk melihat alternatif OpenAI.
