Sebuah fitur yang ditunjukkan oleh Google dalam konferensi I/O kemarin, menggunakan teknologi AI generatifnya untuk memindai panggilan suara secara real time untuk pola percakapan yang terkait dengan penipuan keuangan, telah membuat para ahli privasi dan keamanan merasa khawatir bersama dan memperingatkan bahwa fitur ini mewakili awal dari ujung gunting. Mereka memperingatkan bahwa, begitu pemindaian sisi klien terintegrasi ke dalam infrastruktur ponsel, itu bisa membuka era sensorship terpusat.

Demo Google tentang fitur deteksi penipuan panggilan, yang diumumkan oleh raksasa teknologi tersebut akan tertanam dalam versi mendatang dari sistem operasi Android-nya — yang diperkirakan akan berjalan pada sekitar tiga perempat smartphone di seluruh dunia — didukung oleh Gemini Nano, yang merupakan yang terkecil dari generasi model AI saat ini yang dimaksudkan untuk berjalan sepenuhnya di perangkat.

Ini pada dasarnya adalah pemindaian sisi klien: Sebuah teknologi yang baru lahir yang telah menimbulkan kontroversi besar dalam beberapa tahun terakhir terkait upaya untuk mendeteksi materi penyalahgunaan seksual anak (CSAM) atau bahkan aktivitas grooming di platform pesan.

Apple meninggalkan rencana untuk menerapkan pemindaian sisi klien untuk CSAM pada tahun 2021 setelah reaksi keras terkait privasi. Namun, pembuat kebijakan terus menekan industri teknologi untuk menemukan cara mendeteksi aktivitas ilegal yang terjadi di platform mereka. Langkah-langkah industri untuk membangun infrastruktur pemindaian di perangkat tersebut kemudian dapat membuka jalan bagi berbagai macam pemindaian konten secara default — baik yang dipimpin oleh pemerintah maupun terkait dengan agenda komersial tertentu.

Menanggapi demo pemindaian panggilan Google dalam sebuah pos di X, Meredith Whittaker, presiden aplikasi pesan terenkripsi Signal yang berbasis di AS, memperingatkan: "Ini sangat berbahaya. Ini membuka jalan untuk pemindaian sisi klien terpusat, di level perangkat.

"Dari mendeteksi 'penipuan' langkahnya tidak jauh dari 'mendeteksi pola yang umumnya terkait dengan mencari perawatan reproduksi' atau 'umumnya terkait dengan menyediakan sumber daya LGBTQ' atau 'umumnya terkait dengan pengaduan pekerja teknologi.'"

Ahli kriptografi Matthew Green, seorang profesor di Johns Hopkins, juga menggunakan X untuk memperingatkan. "Di masa depan, model AI akan melangsungkan inferensi pada teks dan panggilan suara Anda untuk mendeteksi dan melaporkan perilaku terlarang," katanya. "Untuk data Anda melewati penyedia layanan, Anda perlu melampirkan bukti pengetahuan nol bahwa pemindaian sudah dilakukan. Ini akan memblokade klien terbuka."

Green menyebutkan bahwa masa depan sensorship secara default seperti ini hanya beberapa tahun lagi dari sisi teknis. "Kita masih agak jauh dari teknologi ini cukup efisien untuk direalisasikan, tapi hanya beberapa tahun. Sepaling lama sepuluh tahun," katanya.

Ahli privasi dan keamanan di Eropa juga cepat bereaksi.

Merespons demo Google di X, Lukasz Olejnik, seorang peneliti independen dan konsultan untuk isu privasi dan keamanan berbasis di Polandia, menyambut baik fitur anti-penipuan perusahaan tetapi memperingatkan bahwa infrastruktur tersebut bisa dimanfaatkan untuk pengawasan sosial. "Ini juga berarti bahwa kemampuan teknis telah, atau sedang dikembangkan untuk memantau panggilan, pembuatan, penulisan teks atau dokumen, misalnya dalam pencarian konten ilegal, berbahaya, kebencian, atau sebaliknya tidak diinginkan atau tidak bermoral — sesuai dengan standar seseorang," tulisnya.

"Lebih jauh, model semacam ini bisa, misalnya, menampilkan peringatan. Atau memblokade kemampuan untuk melanjutkan," Lanjut Olejnik dengan penekanan. "Atau melaporkannya ke suatu tempat. Modulasi teknologi pada perilaku sosial, atau sejenisnya. Ini merupakan ancaman serius terhadap privasi, tetapi juga terhadap sejumlah nilai dan kebebasan dasar. Kemampuan sudah ada."

Melengkapi kekhawatirannya lebih lanjut, Olejnik mengatakan kepada TechCrunch: "Saya belum melihat detail teknisnya tapi Google menjamin bahwa deteksi akan dilakukan di perangkat. Ini bagus untuk privasi pengguna. Namun, ada yang lebih penting daripada privasi. Ini menyoroti bagaimana AI/LLM yang tertanam dalam perangkat lunak dan sistem operasi dapat diubah untuk mendeteksi atau mengontrol berbagai bentuk aktivitas manusia.

"Sampai sekarang untungnya lebih baik. Tetapi bagaimana ke depan jika kemampuan teknis tersebut ada dan dibangun? Fitur yang sangat kuat ini menandakan risiko masa depan potensial terkait kemampuan menggunakan AI untuk mengendalikan perilaku masyarakat secara luas atau selektif. Itu mungkin merupakan salah satu kemampuan teknologi informasi paling berbahaya yang pernah dikembangkan. Dan kita mendekati titik itu. Bagaimana kita mengatur hal ini? Apakah kita terlalu jauh?"

Michael Veale, seorang profesor asosiasi dalam hukum teknologi di UCL, juga menimbulkan ancaman pembengkakan fungsi dari AI Google yang memindai percakapan — memperingatkan dalam sebuah pos reaksi di X bahwa "ini menyiapkan infrastruktur untuk pemindaian sisi klien di perangkat untuk tujuan lebih dari ini, yang regulator dan legislator akan ingin menyalahgunakan."

Ahli privasi di Eropa memiliki alasan khusus untuk prihatin: Uni Eropa telah memiliki proposal legislatif yang kontroversial terkait pemindaian pesan di meja sejak tahun 2022, yang dikritik — termasuk oleh Supervisor Perlindungan Data sendiri dari blok tersebut — karena dianggap merupakan titik kritis bagi hak demokratis di wilayah tersebut karena akan memaksa platform untuk memindai pesan pribadi secara default.

Meskipun proposal legislasi saat ini mengklaim teknologi agnostik, diperkirakan bahwa undang-undang tersebut akan memaksa platform untuk menerapkan pemindaian sisi klien agar bisa menindaklanjut perintah deteksi yang meminta mereka menemukan CSAM yang diketahui dan tidak diketahui serta mendeteksi aktivitas grooming secara real time.

Bulan ini, ratusan ahli privasi dan keamanan menulis surat terbuka yang memperingatkan rencana tersebut bisa menyebabkan jutaan positif palsu per hari, karena teknologi pemindaian sisi klien yang kemungkinan akan diterapkan oleh platform sebagai respons terhadap perintah hukum tersebut belum teruji, sangat cacat, dan rentan terhadap serangan.

Google telah dihubungi untuk menanggapi keprihatinan bahwa AI pemindaian percakapan mereka bisa merusak privasi orang, tetapi hingga berita ini dipublish mereka belum merespons.

Kami akan meluncurkan newsletter AI! Daftar di sini untuk mulai menerimanya di kotak masuk Anda pada tanggal 5 Juni.