timelinews.id - Peneliti kecerdasan buatan Jacob Coxon mengundurkan diri dari Anthropic dan memperingatkan bahwa perusahaan tersebut bersama OpenAI terlalu agresif mengejar pengembangan AI yang dapat berkembang melampaui kendali manusia.
Coxon, yang mengatakan pernah bekerja di OpenAI dan Anthropic selama tiga tahun terakhir, menyampaikan alasannya melalui unggahan di X. Ia menilai kedua perusahaan sedang berlomba menuju pengembangan AI yang mampu memperbaiki dirinya sendiri atau self-improving AI.
Menurut Coxon, perkembangan tersebut dapat membawa AI menuju tahap superintelligence yang kemampuannya melampaui manusia dalam berbagai bidang.
“Mereka sedang berpacu menuju superintelligence yang dapat memperbaiki dirinya sendiri dan mempertaruhkan hidup kita,” tulis Coxon dalam serangkaian unggahan.
Ia memperingatkan bahwa sistem semacam itu nantinya dapat memiliki kemampuan untuk meretas sistem komputer, mengubah berbagai bidang dalam waktu singkat, serta memperoleh akses terhadap sumber daya dan kekuasaan.
Coxon juga mengatakan orang-orang yang membangun AI sebenarnya memahami kemungkinan terburuk dari teknologi tersebut.
Peneliti Anthropic Sebut Risiko Bisa Lebih dari 10 Persen
Pernyataan Coxon mendapat tanggapan dari Evan Hubinger, peneliti Anthropic yang saat ini memimpin bidang Alignment Science.
Hubinger mengatakan kekhawatiran terhadap kemungkinan AI memusnahkan manusia memang benar-benar dibahas di internal perusahaan. Ia memperkirakan peluang tersebut berada di atas 10 persen dalam satu dekade mendatang.
“Saya pribadi menilai kemungkinannya lebih dari 10 persen dalam dekade berikutnya,” tulis Hubinger di X.
Hubinger mengatakan Anthropic sedang berupaya mengatasi risiko tersebut, tetapi perusahaan belum memiliki rencana yang jelas untuk memastikan sistem superintelligence tetap selaras dengan kepentingan manusia.
Ia juga menegaskan bahwa kekhawatirannya terutama berkaitan dengan AI masa depan yang mampu memperbaiki dan mengembangkan kemampuan dirinya sendiri secara berulang. Risiko terhadap manusia dari model AI yang digunakan saat ini disebut jauh lebih rendah.
Coxon sebelumnya juga pernah bekerja di OpenAI. Dalam pengumuman pengunduran dirinya, ia meminta peneliti AI lainnya mempertimbangkan kembali pekerjaan mereka dan mendorong terciptanya kondisi yang berbeda dalam pengembangan teknologi tersebut.
Kekhawatiran Muncul dari Dalam Industri
Pengunduran diri Coxon menambah daftar peringatan dari orang-orang yang bekerja langsung dalam industri AI.
Sehari sebelum pernyataan Coxon muncul, Kepala Ilmuwan OpenAI Jakub Pachocki memperingatkan bahwa dunia belum siap menghadapi peningkatan kemampuan AI yang berlangsung cepat. Ia juga mendorong perusahaan AI untuk mempertimbangkan perlambatan pengembangan secara sukarela dan meminta adanya standar keselamatan yang lebih kuat.
Kekhawatiran tersebut semakin mendapat perhatian setelah sejumlah insiden yang melibatkan AI agent. Beberapa sistem AI dalam pengujian dilaporkan berusaha keluar dari lingkungan pengaman dan mengakses sistem di luar batas yang diberikan pengembang.
Di Anthropic sendiri, isu keselamatan menjadi bagian penting dari identitas perusahaan. CEO Dario Amodei selama ini mendorong pengawasan pemerintah terhadap sistem AI terdepan sebelum teknologi tersebut dirilis.
Namun Coxon menilai pendekatan tersebut belum cukup untuk menghadapi risiko yang mungkin muncul dari superintelligence.
Dorongan untuk Memperlambat Perlombaan AI
Kekhawatiran terhadap perkembangan AI juga mulai muncul dari kalangan pekerja industri.
Pada Juli, lebih dari 1.100 pekerja dari sejumlah perusahaan AI, termasuk Anthropic dan OpenAI, menandatangani petisi yang meminta pemerintah Amerika Serikat membuat mekanisme untuk memperlambat pengembangan AI secara sengaja agar teknologi tersebut tidak berkembang lebih cepat daripada kemampuan pengamanannya.
Perdebatan tersebut juga mulai masuk ke ranah politik. Senator Amerika Serikat Bernie Sanders mengusulkan aturan yang akan melarang pengembangan model AI superintelligent dengan kemampuan yang melampaui manusia.
Di sisi lain, tidak semua tokoh industri melihat perkembangan AI dengan kekhawatiran yang sama. CEO Nvidia Jensen Huang, misalnya, menyambut kemampuan model AI terbaru OpenAI dan menyatakan bahwa era AGI telah tiba.
Pemerintah Amerika Serikat juga masih menempatkan keunggulan AI sebagai bagian dari persaingan teknologi dengan China. Presiden Donald Trump sebelumnya menegaskan bahwa negara yang memenangkan perlombaan AI akan memiliki posisi penting dalam persaingan global.
Perdebatan tersebut kini berlangsung bersamaan dengan semakin cepatnya perkembangan model AI.
Di satu sisi, perusahaan terus mengejar sistem yang lebih mampu dan lebih mandiri. Di sisi lain, sejumlah peneliti dari dalam industri justru memperingatkan bahwa kemampuan tersebut dapat berkembang lebih cepat daripada mekanisme untuk mengendalikannya.
Pengunduran diri Coxon menambah suara dari kelompok yang meminta perlombaan tersebut tidak berjalan tanpa batas.
