Dimana prediksi AI salah

Featured Post Image - Dimana prediksi AI salah

Apa yang harus kita lakukan terhadap model bahasa besar (LLM)? Ini benar-benar pertanyaan bernilai miliaran dolar.

Hal ini dibahas minggu ini dalam sebuah analisis yang dilakukan oleh mantan karyawan OpenAI Leopold Aschenbrenner, di mana dia menyatakan bahwa kita mungkin hanya berjarak beberapa tahun lagi dari kecerdasan umum berbasis model bahasa besar yang dapat menjadi “pekerja jarak jauh yang singgah” yang dapat melakukan tugas apa pun yang dilakukan pekerja jarak jauh. (Menurutnya kita perlu terus maju dan membangunnya sehingga Tiongkok tidak mencapai tujuan tersebut terlebih dahulu.)

Analisisnya (yang sangat panjang namun layak untuk dibaca) adalah rangkuman yang baik dari salah satu rangkaian pemikiran tentang model bahasa besar seperti ChatGPT: bahwa model tersebut adalah bentuk larva dari kecerdasan umum buatan (AGI) dan saat kita menjalankan pelatihan yang semakin besar, semakin besar pula proses dan pembelajarannya. lebih lanjut tentang bagaimana menyempurnakan dan mendorong mereka, kesalahan-kesalahan terkenal mereka sebagian besar akan hilang.

Pandangan ini terkadang dianggap sebagai “yang Anda perlukan hanya skala”, yang berarti lebih banyak data pelatihan dan lebih banyak daya komputasi. GPT-2 tidak terlalu bagus, namun GPT-3 yang lebih besar jauh lebih baik, GPT-4 yang lebih besar pun lebih baik, dan perkiraan default kami adalah bahwa tren ini akan terus berlanjut. Punya keluhan bahwa model bahasa besar tidak bagus dalam suatu hal? Tunggu saja sampai kita memiliki yang lebih besar. (Pengungkapan: Vox Media adalah salah satu dari beberapa penerbit yang telah menandatangani perjanjian kemitraan dengan OpenAI. Pelaporan kami tetap independen secara editorial.)

Di antara mereka yang paling skeptis terhadap perspektif ini adalah dua pakar AI yang jarang setuju: Yann LeCun, kepala penelitian AI Facebook, dan Gary Marcus, seorang profesor NYU dan skeptis LLM yang vokal. Mereka berpendapat bahwa beberapa kelemahan dalam LLM – kesulitan mereka dalam tugas penalaran logis, kecenderungan mereka terhadap “halusinasi” – tidak hilang seiring berjalannya waktu. Mereka memperkirakan hasil yang semakin berkurang di masa depan dan mengatakan bahwa kita mungkin tidak akan mencapai kecerdasan buatan secara umum hanya dengan menggandakan metode yang kita miliki saat ini dengan miliaran dolar lebih banyak.

Siapa yang benar? Sejujurnya, menurut saya kedua belah pihak terlalu percaya diri.

Skala memang membuat LLM jauh lebih baik dalam berbagai tugas kognitif, dan tampaknya terlalu dini dan terkadang sengaja mengabaikan untuk menyatakan bahwa tren ini akan tiba-tiba berhenti. Saya telah melaporkan tentang AI selama enam tahun, dan saya terus mendengar orang-orang yang skeptis menyatakan bahwa ada beberapa tugas sederhana yang tidak dapat dan tidak akan pernah dapat dilakukan oleh LLM karena memerlukan “kecerdasan sejati.” Seperti jarum jam, bertahun-tahun (atau terkadang hanya berbulan-bulan) kemudian, seseorang menemukan cara agar LLM melakukan tugas tersebut dengan tepat.

Saya pernah mendengar dari para ahli bahwa pemrograman adalah sesuatu yang pembelajaran mendalam tidak akan pernah bisa digunakan, dan sekarang ini menjadi salah satu aspek terkuat dari LLM. Ketika saya melihat seseorang dengan percaya diri menyatakan bahwa LLM tidak dapat melakukan tugas penalaran yang rumit, saya menandai klaim itu. Sering kali, ternyata GPT-4 atau kompetitor papan atas mampu melakukannya.

Saya cenderung menganggap orang-orang yang skeptis itu bijaksana dan kritik mereka masuk akal, namun rekam jejak mereka yang beragam membuat saya berpikir mereka harus lebih skeptis terhadap skeptisisme mereka.

Kita tidak tahu seberapa jauh skala dapat membawa kita

Sedangkan bagi orang-orang yang berpikir bahwa kemungkinan besar kita akan memiliki kecerdasan umum buatan dalam beberapa tahun ke depan, naluri saya adalah bahwa mereka juga melebih-lebihkan pendapat mereka. Argumen Aschenbrenner menampilkan grafik ilustratif berikut:

Saya tidak ingin sepenuhnya memfitnah pendekatan “garis lurus pada grafik” dalam memprediksi masa depan; setidaknya, “tren yang ada saat ini terus berlanjut” selalu merupakan kemungkinan yang patut dipertimbangkan. Tapi saya ingin menunjukkan (dan kritikus lain juga) bahwa sumbu kanan di sini … sepenuhnya diciptakan.

GPT-2 sama sekali tidak setara dengan anak prasekolah manusia. GPT-3 jauh lebih baik dibandingkan siswa sekolah dasar dalam sebagian besar tugas akademis dan, tentu saja, jauh lebih buruk daripada mereka dalam hal, katakanlah, mempelajari keterampilan baru dari beberapa paparan. LLM terkadang tampak mirip manusia dalam percakapan dan interaksinya dengan kita, namun pada dasarnya mereka tidak terlalu manusiawi; mereka mempunyai kekuatan dan kelemahan yang berbeda-beda, dan sangat sulit untuk menangkap kemampuan mereka dengan membandingkan langsung dengan manusia.

Selain itu, kami tidak tahu di mana letak “peneliti/insinyur AI otomatis” pada grafik ini. Apakah diperlukan kemajuan sebanyak peralihan dari GPT-3 ke GPT-4? Dua kali lebih banyak? Apakah hal ini memerlukan kemajuan yang tidak terjadi saat Anda beralih dari GPT-3 ke GPT-4? Mengapa menempatkannya enam kali lipat di atas GPT-4, bukannya lima, atau tujuh, atau 10?

“AGI pada tahun 2027 masuk akal… karena kita terlalu bodoh untuk mengesampingkannya… karena kita tidak tahu seberapa jauh jarak penelitian tingkat manusia pada sumbu y grafik ini,” peneliti dan advokat keselamatan AI Eliezer Yudkowsky menanggapi Aschenbrenner.

Itu adalah sikap yang membuat saya lebih bersimpati. Karena kita hanya mempunyai sedikit pemahaman tentang permasalahan mana yang mampu diselesaikan oleh LLM skala besar, kita tidak dapat dengan yakin menyatakan batasan yang kuat mengenai apa yang dapat mereka lakukan bahkan sebelum kita melihatnya. Namun itu berarti kami juga tidak bisa dengan yakin menyatakan kemampuan yang akan mereka miliki.

Prediksi itu sulit – terutama mengenai masa depan

Mengantisipasi kemampuan teknologi yang belum ada sangatlah sulit. Kebanyakan orang yang telah melakukannya selama beberapa tahun terakhir merasa tidak enak. Oleh karena itu, para peneliti dan pemikir yang paling saya hormati cenderung menekankan berbagai kemungkinan.

Mungkin peningkatan besar dalam penalaran umum yang kami lihat antara GPT-3 dan GPT-4 akan bertahan seiring kami terus meningkatkan skala model. Mungkin tidak, tapi kita masih akan melihat peningkatan besar dalam kemampuan efektif model AI karena peningkatan dalam cara kita menggunakannya: mencari tahu sistem untuk mengelola halusinasi, memeriksa ulang hasil model, dan model penyetelan yang lebih baik untuk diberikan kepada kita. jawaban yang berguna.

Mungkin kita akan membangun sistem cerdas secara umum yang memiliki LLM sebagai komponennya. Atau mungkin GPT-5 OpenAI yang sangat ditunggu-tunggu akan menjadi kekecewaan besar, melemahkan gelembung AI dan membuat para peneliti memikirkan sistem apa yang bernilai komersial yang dapat dibangun tanpa perbaikan besar dalam waktu dekat.

Yang terpenting, Anda tidak perlu percaya bahwa AGI kemungkinan besar akan terjadi pada tahun 2027 untuk percaya bahwa kemungkinan tersebut dan implikasi kebijakan di sekitarnya layak untuk ditanggapi dengan serius. Saya rasa ini merupakan garis besar dari skenario yang dijabarkan Aschenbrenner – di mana sebuah perusahaan AI mengembangkan sistem AI yang dapat digunakan untuk mengotomatisasi penelitian AI internal secara lebih agresif, yang mengarah ke sebuah dunia di mana sejumlah kecil orang memegang sejumlah besar asisten dan pelayan AI. dapat melaksanakan proyek-proyek yang mengubah dunia dengan kecepatan yang tidak memungkinkan banyak pengawasan – merupakan kemungkinan yang nyata dan menakutkan. Banyak orang menghabiskan puluhan miliar dolar untuk mewujudkan dunia tersebut secepat mungkin, dan banyak dari mereka berpikir bahwa hal tersebut sudah dekat.

Hal ini layak untuk didiskusikan secara substantif dan memberikan respons terhadap kebijakan yang substantif, meskipun menurut kami para pemimpin AI terlalu yakin pada diri mereka sendiri. Marcus menulis tentang Aschenbrenner – dan saya setuju – bahwa “jika Anda membaca naskahnya, harap bacalah itu karena kekhawatirannya tentang kurangnya persiapan kita, bukan karena garis waktunya yang sensasional. Masalahnya, kita harus khawatir, tidak peduli berapa banyak waktu yang kita punya.”

Namun perbincangan akan lebih baik, dan respons kebijakan akan lebih tepat disesuaikan dengan situasi, jika kita berterus terang tentang betapa sedikitnya yang kita ketahui – dan jika kita menjadikan kebingungan ini sebagai dorongan untuk lebih baik dalam mengukur dan memprediksi apa yang kita pedulikan ketika kita menghadapi situasi tersebut. itu menyangkut AI.

Versi cerita ini pertama kali muncul di buletin Future Perfect. Daftar disini!

Leave a Reply

Your email address will not be published. Required fields are marked *