Orang dalam OpenAI menuntut “hak untuk memperingatkan” masyarakat

Featured Post Image - Orang dalam OpenAI menuntut “hak untuk memperingatkan” masyarakat

Karyawan dari beberapa perusahaan AI terkemuka di dunia menerbitkan proposal yang tidak biasa pada hari Selasa, menuntut agar perusahaan tersebut memberi mereka “hak untuk memperingatkan tentang kecerdasan buatan yang canggih.”

Siapa yang ingin mereka peringatkan? Anda. Masyarakat. Siapa pun yang mau mendengarkan.

Ke-13 pihak yang menandatangani perjanjian ini adalah karyawan saat ini dan mantan karyawan OpenAI dan Google DeepMind. Mereka percaya bahwa AI mempunyai potensi besar untuk memberikan manfaat, namun mereka khawatir bahwa tanpa perlindungan yang tepat, teknologi ini dapat menimbulkan berbagai dampak buruk.

“Saya ketakutan. Saya akan gila jika tidak melakukannya,” Daniel Kokotajlo, salah satu penandatangan yang keluar dari OpenAI pada bulan April setelah kehilangan keyakinan bahwa pimpinan perusahaan akan menangani teknologinya secara bertanggung jawab, mengatakan kepada saya minggu ini. Beberapa karyawan lain yang sadar akan keselamatan baru-baru ini mengundurkan diri karena alasan serupa, sehingga meningkatkan kekhawatiran bahwa OpenAI tidak mengambil risiko teknologi ini dengan cukup serius. (Pengungkapan: Vox Media adalah salah satu dari beberapa penerbit yang telah menandatangani perjanjian kemitraan dengan OpenAI. Pelaporan kami tetap independen secara editorial.)

Memahami AI dan perusahaan yang membuatnya

Kecerdasan buatan siap untuk mengubah dunia mulai dari media hingga kedokteran dan seterusnya — dan Future Perfect hadir untuk meliputnya.

Mungkin kita tergoda untuk melihat proposal baru ini hanya sekedar surat terbuka yang dikeluarkan semata-mata oleh para “para pelaku malapetaka” yang ingin menghentikan sementara penggunaan AI karena mereka khawatir AI akan menjadi jahat dan memusnahkan seluruh umat manusia. Bukan itu saja. Para penandatangan memiliki keprihatinan yang sama dengan kubu “etika AI”, yang lebih mengkhawatirkan dampak buruk AI saat ini seperti bias rasial dan misinformasi, dan kubu “keamanan AI”, yang lebih mengkhawatirkan AI sebagai risiko eksistensial di masa depan.

Kamp-kamp ini terkadang diadu satu sama lain. Tujuan dari proposal baru ini adalah untuk mengubah insentif perusahaan AI terkemuka dengan menjadikan aktivitas mereka lebih transparan bagi pihak luar – dan hal ini akan menguntungkan semua orang.

Para penandatangan menyerukan kepada perusahaan-perusahaan AI untuk membiarkan mereka menyuarakan keprihatinan mereka mengenai teknologi tersebut – kepada dewan direksi perusahaan, kepada regulator, kepada organisasi ahli independen, dan, jika perlu, langsung kepada publik – tanpa adanya tindakan pembalasan. Enam dari penandatangan tidak disebutkan namanya, termasuk empat karyawan OpenAI saat ini dan dua mantan karyawan OpenAI, karena mereka takut akan tindakan pembalasan. Proposal ini didukung oleh beberapa nama besar di bidangnya: Geoffrey Hinton (sering disebut “bapak baptis AI”), Yoshua Bengio, dan Stuart Russell.

Jelasnya, para penandatangan tidak mengatakan bahwa mereka harus bebas membocorkan kekayaan intelektual atau rahasia dagang, namun selama mereka melindunginya, mereka ingin dapat menyampaikan kekhawatiran mengenai risikonya. Untuk memastikan pelapor terlindungi, mereka ingin perusahaan menerapkan proses anonim di mana karyawan dapat melaporkan kekhawatiran mereka “kepada dewan direksi perusahaan, kepada regulator, dan kepada organisasi independen yang sesuai dengan keahlian yang relevan.”

Seorang juru bicara OpenAI mengatakan kepada Vox bahwa karyawan saat ini dan mantan karyawan sudah memiliki forum untuk menyampaikan pemikiran mereka melalui jam kerja kepemimpinan, sesi tanya jawab dengan dewan direksi, dan hotline integritas anonim.

“Perlindungan pelapor biasa [that exist under the law] tidak cukup karena mereka fokus pada aktivitas ilegal, sedangkan banyak risiko yang kita khawatirkan belum diatur,” tulis para penandatangan proposal tersebut. Mereka telah menyewa pengacara pro bono, Lawrence Lessig, yang sebelumnya menjadi penasihat pelapor Facebook Frances Haugen dan yang pernah digambarkan oleh New Yorker sebagai “pemikir kekayaan intelektual paling penting di era Internet.”

Tuntutan mereka yang lain: tidak ada lagi perjanjian yang tidak meremehkan yang mencegah orang dalam perusahaan menyuarakan keprihatinan terkait risiko. Mantan karyawan OpenAI sudah lama merasa diberangus karena, setelah keluar, perusahaan meminta mereka menandatangani perjanjian offboarding dengan ketentuan yang tidak meremehkan. Setelah Vox melaporkan karyawan yang merasa tertekan untuk menandatangani atau menyerahkan ekuitas mereka di perusahaan, OpenAI mengatakan pihaknya sedang dalam proses menghapus perjanjian yang tidak meremehkan.

Perjanjian tersebut sangat membatasi sehingga menimbulkan peringatan bahkan bagi karyawan yang meninggalkan perusahaan dengan baik, seperti Jacob Hilton, salah satu penandatangan proposal “hak untuk memperingatkan”. Dia tidak terlalu khawatir tentang pendekatan OpenAI terhadap keselamatan selama bertahun-tahun bekerja di sana, namun ketika dia keluar pada awal tahun 2023 untuk melanjutkan penelitian di tempat lain, perjanjian offboarding membuatnya khawatir.

“Pada dasarnya mereka mengancam akan mengambil sebagian besar kompensasi saya kecuali saya menandatangani perjanjian yang tidak meminta dan tidak meremehkan,” kata Hilton kepada saya. “Saya merasa bahwa penerapan perjanjian ini secara luas akan berdampak buruk pada kemampuan mantan karyawan untuk menyampaikan kritik yang masuk akal.”

Ironisnya, upaya OpenAI untuk membungkamnya justru membuatnya angkat bicara.

Hilton menandatangani proposal baru tersebut, katanya, karena perusahaan perlu mengetahui bahwa karyawan akan memanggil mereka jika mereka membicarakan masalah besar tentang keselamatan di depan umum – seperti yang telah dilakukan OpenAI – namun kemudian membantahnya secara tertutup.

“Komitmen publik sering kali ditulis oleh karyawan perusahaan yang benar-benar peduli, namun perusahaan tidak memiliki banyak insentif untuk menepati komitmen jika publik tidak mengetahuinya. [about violations], kata Hilton. Di sinilah usulan baru muncul. “Ini tentang menciptakan struktur di mana perusahaan diberi insentif untuk tetap berpegang pada komitmen publiknya.”

Hal ini mengenai perubahan insentif bagi seluruh industri AI

Peneliti keamanan AI sering kali khawatir akan ketidakselarasan model AI – mengejar tujuan dengan cara yang tidak selaras dengan nilai-nilai kita. Tapi tahukah Anda apa yang sulit untuk diselaraskan? Manusia. Terutama ketika semua insentif mendorong mereka ke arah yang salah.

Mereka yang menempati posisi kedua jarang dikenang di Silicon Valley; menjadi yang pertama keluar dari gerbang dihargai. Budaya persaingan berarti adanya insentif yang kuat untuk membangun sistem AI mutakhir dengan cepat. Dan pentingnya keuntungan berarti terdapat insentif yang kuat untuk mengkomersialkan sistem tersebut dan meluncurkannya ke dunia.

Karyawan OpenAI semakin memperhatikan hal ini. Jan Leike, yang mengepalai tim penyelarasan perusahaan hingga ia mengundurkan diri bulan lalu, mengatakan dalam postingan X bahwa “budaya dan proses keselamatan tidak lagi berpengaruh pada produk yang cemerlang.”

Carroll Wainwright, yang bekerja di bawah Leike, berhenti minggu lalu karena alasan serupa. “Selama sekitar enam bulan terakhir, saya menjadi semakin khawatir bahwa insentif yang mendorong OpenAI untuk melakukan sesuatu tidak diatur dengan baik,” katanya kepada saya. “Ada insentif yang sangat, sangat kuat untuk memaksimalkan keuntungan, namun kepemimpinan telah menyerah pada beberapa insentif ini dan harus melakukan pekerjaan yang lebih selaras dengan misi.”

Jadi pertanyaan besarnya adalah bagaimana kita dapat mengubah struktur insentif mendasar yang mendorong semua pelaku industri AI?

Untuk sementara, terdapat harapan bahwa mendirikan perusahaan AI dengan struktur tata kelola yang tidak biasa akan berhasil. OpenAI, misalnya, dimulai sebagai organisasi nirlaba, dengan dewan yang misinya bukan untuk membuat pemegang saham senang, tetapi untuk menjaga kepentingan terbaik umat manusia. Wainwright mengatakan itulah salah satu alasan dia bersemangat bekerja di sana: Dia memperkirakan struktur ini akan menjaga insentif tetap berjalan.

Namun OpenAI segera menyadari bahwa untuk menjalankan eksperimen AI skala besar saat ini, Anda memerlukan banyak daya komputasi — lebih dari 300.000 kali lipat dari yang Anda butuhkan satu dekade lalu — dan itu sangat mahal. Untuk tetap menjadi yang terdepan, mereka harus membentuk cabang nirlaba dan bermitra dengan Microsoft. OpenAI tidak sendirian dalam hal ini: Perusahaan saingannya, Anthropic, yang didirikan oleh mantan karyawan OpenAI karena mereka ingin lebih fokus pada keselamatan, memulai dengan argumen bahwa kita perlu mengubah struktur insentif yang mendasari industri ini, termasuk insentif keuntungan. tapi akhirnya bergabung dengan Amazon.

Adapun dewan yang bertugas menjaga kepentingan terbaik umat manusia? Secara teori kedengarannya bagus, tetapi drama dewan OpenAI pada bulan November lalu – ketika dewan mencoba memecat CEO Sam Altman hanya untuk melihatnya dengan cepat kembali ke kekuasaan – membuktikan bahwa hal itu tidak berhasil.

“Saya pikir hal ini menunjukkan bahwa dewan direksi tidak memiliki kekuatan seperti yang diharapkan,” kata Wainwright kepada saya. “Hal ini membuat saya mempertanyakan seberapa baik dewan dapat meminta pertanggungjawaban organisasi.”

Oleh karena itu, pernyataan dalam proposal “hak untuk memperingatkan” berikut ini: “Perusahaan AI memiliki insentif finansial yang kuat untuk menghindari pengawasan yang efektif, dan kami yakin struktur tata kelola perusahaan yang dibuat khusus tidak cukup untuk mengubah hal ini.”

Jika pesanan khusus tidak berhasil, apa lagi yang bisa dilakukan?

Regulasi adalah jawaban yang jelas, dan tidak ada keraguan bahwa diperlukan lebih banyak regulasi. Tapi itu saja mungkin tidak cukup. Para pembuat undang-undang sering kali tidak cukup memahami teknologi yang berkembang pesat untuk mengaturnya dengan sangat canggih. Ada juga ancaman pelanggaran peraturan.

Inilah sebabnya orang dalam perusahaan menginginkan hak untuk memperingatkan masyarakat. Mereka berada di barisan depan dalam perkembangan teknologi dan mereka memahaminya lebih baik dari siapa pun. Jika mereka mempunyai kebebasan untuk bersuara mengenai risiko yang mereka lihat, perusahaan mungkin akan lebih terdorong untuk mengambil risiko tersebut dengan serius. Hal ini akan bermanfaat bagi semua orang, apa pun jenis risiko AI yang membuat mereka terjaga di malam hari.

Leave a Reply

Your email address will not be published. Required fields are marked *