EleutherAI

EleutherAI

Jenis perusahaan	Lembaga penelitian nirlaba
Didirikan	Juli 3, 2020;6 tahun lalu (2020-07-03)[1]
Pendiri	Connor Leahy Leo Gao Sid Black
Tokoh kunci	Stella Biderman Curtis Huebner Shivanshu Purohit Ben Wang
Industri	Kecerdasan buatan
Produk	GPT-Neo, GPT-J, The Pile
URL	eleuther.ai

EleutherAI (/əˈluːθər/^[2]) adalah sebuah lembaga penelitian kecerdasan buatan nirlaba. Kelompok yang dianggap sebagai versi sumber terbuka dari OpenAI ini,^[3] terbentuk dalam sebuah peladen Discord untuk memulai program replikasi GPT-3. Pada awal 2023, kelompok ini secara formal berdiri sebagai EleutherAI Foundation, sebuah lembaga penelitian nirlaba.^[4]

Sejarah

EleutherAI berawal dari sebuah peladen di Discord pada Juli 2020 dengan nama tentatif "LibreAI" sebelum melakukan penjenamaan ulang menjadi "EleutherAI" pada akhir bulan tersebut,^[5] nama ini merujuk pada eleutheria, sebuah istilah bahasa Yunani kuno untuk libertas.^[3]

Pada 30 Desember 2020, EleutherAI merilis The Pile, sebuah kumpulan data yang berisikan teks untuk melatih model bahasa besar. Walaupun artikel akademis terkait mereferensikan keberadaan model GPT-Neo, model tersebut tidak dirilis hingga 21 Maret 2021.^[6] Menurut sebuah artikel kilas balik yang ditulis beberapa bulan kemudian, penulis tidak menyangka bahwa "orang-orang akan sangat peduli terhadap model kecil kami."^[1] Pada 9 Juni 2021, EleutherAI merilis GPT-J-6B, sebuah model bahasa dengan enam miliar parameter yang juga merupakan model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia.^[7] Kumpulan model bahasa tersebut dirilis di bawah lisensi Apache 2.0 dan dianggap telah "menyalakan gelombang perusahaan rintisan yang benar-benar baru".^[4]

Setelah dirilisnya DALL-E oleh OpenAI pada Januari 2021, EleutherAI mulai bekerja pada model sintesis teks-ke-gambar. Ketika OpenAI tidak merilis DALL-E secara luas, Katherine Crowson dari EleutherAI dan seniman digital Ryan Murdock mengembangkan sebuah teknik untuk menggunakan CLIP (model lain yang dikembangkan oleh OpenAI) untuk menkonversi model generatif gambar biasa menjadi model sintesis teks-ke-gambar.^{[10][11][12][13]} Dengan pijakan ide dari Google DeepDream,^[14] mereka menemukan kesuksesan menggabungkan CLIP dengan model lainnya yang tersedia secara luas yang disebut VQGAN, hasilnya dikenal sebagai VQGAN-CLIP.^[15] Crowson merilis teknologi ini dengan mengirimkan tweet berupa notebook Jupyter yang mendemonstrasikan teknik di mana khalayak umum dapat menggunakannya secara gratis tanpa peralatan khusus.^[16][17][18] Karya ini dianggap oleh Direktur Utama Stability AI Emad Mostaque sebagai salah satu motivasi dalam pendirian Stability AI.

Penelitian

Menurut situs web mereka, EleutherAI adalah sebuah perkumpulan kolektif yang terdiri dari peneliti sukarelawan, insinyur, dan pengembang yang berfokus pada pengendalian kecerdasan buatan, penskalaan, dan penelitian kecerdasan buatan dengan sumber terbuka".^[19] Walaupun mereka tidak menjual teknologi mereka sebagai produk, mereka memublikasikan hasil penelitian mereka dalam ranah akademis, menulis postingan blog mengenai ide dan metodologi mereka, dan menyediakan model terlatih untuk siapapun secara gratis.

The Pile

The Pile adalah sebuah kumpulan data berukuran 886 GB yang dirancang untuk melatih model bahasa besar. Awalnya dikembangkan oleh EleutherAI untuk melatih model GPT-Neo tetapi kumpulan data juga digunakan untuk melatih model lainnya, seperti Microsoft Megatron-Turing Natural Language Generation,^[20][21] Meta AI Open Pre-trained Transformers, LLaMA, dan Galactica, Stanford University BioMedLM 2.7B,^[22] Beijing Academy of Artificial Intelligence Chinese-Transformer-XL,^[23] dan Yandex YaLM 100B.^[24] Ketimbang kumpulan data lainnya, fitur yang membedakan The Pile adalah seleksi data yang dilakukan oleh para peneliti di EleutherAI untuk memastikan bahwa informasi yang digunakan layak untuk pelatihan dan merupakan satu-satunya kumpulan data yang didokumentasikan secara lengkap oleh peneliti yang mengembangkannya.^[25]

Model-model GPT

Penelitian yang paling terkenal dari EleutherAI berhubungan dengan model bahasa besar yang terinspirasi dari OpenAI GPT-3.^[26] Seri model GPT-Neo terdiri dari model dengan parameter sejumlah 125 juta, 1.3 miliar, 2.7 miliar, 6 miliar, dan 20 miliar.

• GPT-Neo (125JT, 1.3M, 2.7M):^[27] dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.
• GPT-J (6M):^[28][29] dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.^[30]
• GPT-NeoX (20M): dirilis pada Februari 2022, model ini adalah model bahasa dengan sumber terbuka terbesar di dunia saat dirilis.

Walaupun mayoritas dari model bahasa besar dilatih dalam bahasa Inggris ataupun bahasa Tionghoa, EleutherAI juga melatih model bahasa dalam bahasa lainnya, seperti Polyglot-Ko dalam bahasa Korea.^[31]

Tanggapan publik

Pujian

Pekerjaan EleutherAI untuk mendemokratisasi GPT-3 telah mendapatkan banyak pujian dari sejumlah pegiat sumber terbuka. Mereka memenangi UNESCO Netexplo Global Innovation Award pada 2021,^[32] InfoWorld Best of Open Source Software Award pada 2021^[33] pada 2022,^[34] dan dinominasikan untuk VentureBeat AI Innovation Award pada 2021.^[35]

Gary Marcus, seorang peneliti kognitif dan pengkritik badan usaha pemelajaran dalam seperti OpenAI dan DeepMind,^[36] berulang kali memuji dedikasi EleutherAI terhadap penelitian sumber terbuka dan transparan.

Maximilian Gahntz, seorang peneliti kebijakan senior di Mozilla Foundation, memuji upaya EleutherAI dalam memberikan kemampuan bagi para peneliti untuk melakukan audit dan mengukur teknologi kecerdasan buatan. "Jika model-model bersifat terbuka dan jika kumpulan data bersifat terbuka, ini akan memungkinkan lebih banyak penelitian kritis yang menunjukan banyaknya kekurangan dan kekacauan yang berkaitan dengan kecerdasan buatan generatif dan itu sering kali lebih sulit untuk dilakukan."^[37]

Kritikan

Jurnalis teknologi Kyle Wiggers menyampaikan kekhawatiran mengenai apakah EleutherAI benar-benar independen seperti klaim mereka, atau "keterlibatan ventura komersil seperti Stability AI dan Hugging Face — keduanya dibekingi oleh modal ventura yang cukup besar — mungkin memengaruhi penelitian EleutherAI."^[38]

Referensi