Memahami LLM, Otak di Balik Canggihnya Teknologi AI

Apa itu LLM?

Large Language Model atau LLM adalah sebuah model kecerdasan buatan (Artificial Intelligence/AI) yang dilatih untuk mengenali, menciptakan, menerjemahkan, atau meringkas tulisan-tulisan manusia dan data teks. 

Model pemrograman ini bisa melakukan hal tersebut karena dibekali arsitektur "saraf tiruan" (artificial neural network) khusus bernama Transformers. Hasilnya, model bahasa ini mampu memprediksi dan menciptakan teks yang mirip dengan input yang telah diberikan sebelumnya.

Tak sampai di sana, model bahasa ini juga mampu mempelajari konteks tulisan atau disebut sebagai in-context learning.

Berkat teronosan baru ini, mesin tersebut bisa menjalankan tugas baru tanpa menunggu input ulang. Sehingga, mesin bisa menyelesaikan tugas baru tersebut berdasarkan parameter data yang telah dimasukkan dan diproses sebelumnya.

Saat ini, LLM digunakan di rangkaian produk AI bertipe chatbot, misalnya ChatGPT atau Perplexity AI.

Baca Juga: Mengenal Konsep Machine Learning dalam AI. Apakah Itu?

Bagaimana Cara kerja LLM?

Pada dasarnya, LLM adalah model bahasa yang dibangun berlandaskan arsitektur "saraf buatan" dan pelatihan menggunakan basis data yang jumbo.

Agar LLM dapat bekerja dengan baik, ia mesti dilatih terlebih dahulu dengan data-data berbentuk teks sehingga mesin dapat memahami konteks, hubungan, dan pola antar tulisan-tulisan tersebut. Sumber data teks itu pun beragam, mulai dari situs, buku, hingga jurnal ilmiah. Namun, pengembang teknologi biasanya menggunakan tulisan-tulisan dari Wikipedia dan GitHub sebagai sampelnya.

Sebelum diujicobakan di LLM, data-data tersebut harus dirapikan dan dicek kualitasnya terlebih dulu. Setelahnya, data-data tersebut dibagi-bagi ke beberapa segmen agar mesin dapat mengenalinya secara komprehensif.

Kemudian, pengembang akan mengujicobakan model bahasa tersebut dengan "memberi makan" berupa data-data teks berulang-ulang kali sampai model LLM dianggap layak untuk mengingat struktur dan pola tulisan lalu menirunya dengan baik.

Jika uji coba tersebut sukses, sang pengembang akan mempersilakan pengguna lainnya untuk mencoba model bahasa tersebut. Hal ini dimaksudkan agar mesin bisa "belajar" dari input-input yang dimasukkan pengguna lain sehingga ia tidak hanya menghasilkan keluaran berdasarkan data-data yang telah dimasukkan sebelumnya.

Adapun salah satu jenis LLM adalah GPT-3, yakni model LLM di balik ChatGPT pertama. Mesin pintar tersebut dilatih dengan data-data dari internet dalam jumlah masif, termasuk buku, artikel, situs, dan berbagai sumber lainnya.

Selama masa penataran, GPT-3 mempelajari hubungan antar kata, kalimat, frasa hingga dapat membuat teks yang koheren dan relevan dengan perintah pengguna. Tak ketinggalan, model ini pun belajar berbagai bahasa, termasuk bahasa Indonesia dan bahasa-bahasa asing lainnya.

Baca Juga: Apa Saja 4 Produk OpenAI Populer Selain ChatGPT?

Seperti Apa Perkembangan LLM?

LLM adalah buah dari evolusi teknologi kecerdasan buatan yang dikembangkan tidak dalam waktu semalam saja. Lantas, seperti apa evolusi perkembangan teknologi kecerdasan buatan sampai-sampai LLM bisa tercipta.

1. Diawali Kehadiran Machine Learning dan Deep Learning

Manusia dan komputer memiliki perbedaan yang fundamental dalam melihat kata. Bagi manusia, kata adalah bagian dari kalimat, paragraf, esai, dan cerita yang memiliki makna sesuai konteksnya. Sebaliknya, bagi komputer, kata hanyalah serumpun karakter yang dimasukkan oleh penggunanya.

Akhirnya, pengembang pun mencoba menjembatani perbedaan tersebut melalui sebuah teknologi bernama Machine Learning. Yakni, sebuah mesin analisis yang dapat mengimitasi cara belajar manusia menggunakan data dan algoritma. Sehingga, komputer dapat memahami konteks di balik kata-kata dan memprosesnya jadi kalimat-kalimat bermakna dan bercerita.

Kemudian, pengembang teknologi lantas melakukan Deep Learning, yakni membekali komputer dengan saraf tiruan yang menyerupai otak manusia untuk bisa memahami konteks tulisan secara mendalam.

Meski terbilang palsu, sistem saraf kompleks dalam mesin komputer terbukti berhasil membuat mesin belajar dengan cepat dan efisien.

2. Kemunculan Transformer Model

Memang, teknologi Machine Learning bisa membuat mesin mengerti konteks di balik kata-kata. Hanya saja, hal ini menimbulkan persoalan baru.

Ternyata, meski pintar, Machine Learning adalah mesin yang pelupa. Pasalnya, setelah data selesai dimasukkan, Deep Learning Machine kerap lupa konteks awal dari data tersebut.

Dalam sebuah paper bertajuk Attention is All You Need yang dipublikasikan di 31st Conference on Neural Information Processing Systems 2017 lalu, akademisi A Vaswani dkk mengatakan bahwa sifat "pikun" tersebut sejatinya dapat disembuhkan jika mesin mau lebih memperhatikan saat data dimasukkan dan diproses.

Oleh karenanya, pengembang kemudian memfokuskan perhatiannya pada arsitektur "saraf buatan" yang terdapat di LLM agar mesin bisa fokus dan memahami data-data teks dengan jumlah besar. Alhasil, mereka pun keluar dengan sebuah struktur saraf bernama Transformers.

Transformers adalah sebuah arsitektur saraf buatan yang menggunakan konsep bernama self-attention sehingga mesin mampu mengubah data besar menjadi output yang lebih relevan.

Akibatnya, jika sebelumnya Machine Learning bekerja dengan menyimak satu per satu kata yang diinput, maka Transformer membaca satu kalimat sekaligus, bahkan satu paragraf berikut konteksnya.

3. Kelahiran LLM

Berkat sembuhnya penyakit pikun tersebut, kini mesin pintar dapat mempelajari lebih banyak data dalam konteks yang lebih luas dan lebih kompleks.

Basis data besar yang masuk dalam perbendaharaan AI bahkan membuat mesin cerdas ini mampu memprediksi teks, mengolah kata, hingga membuat esai sendiri.

Baca Juga: Apa Itu OpenAI? Mengenal Otak di Balik ChatGPT

Apa Saja Jenis-Jenis LLM?

Seperti yang disinggung sebelumnya, salah satu contoh LLM adalah GPT 3,5 yang digunakan oleh ChatGPT. Meski itu adalah LLM paling populer saat ini, ternyata banyak pula LLM lain yang punya kapasitas menarik dan kecerdasan spesifik.

Lantas, apa saja contoh-contoh LLM lain tersebut?

1. Claude v1

Claude v1 adalah LLM besutan Anthropic, yang juga berkorelasi dengan Google. Pendekatan Claude v1 terbilang menarik, yakni menciptakan AI yang membantu, jujur dan tidak berbahaya.

LLM ini sudah melalui berbagai uji coba dan memperoleh skor tinggi. Bahkan, ia mampu menghasilkan 75.000 kata dalam satu sesi saja!

2. Cohere

Cohere adalah LLM besutan perusahaan rintisan bernama sama, yakni Cohere. Pendirinya adalah Aidan Gomez, salah satu rekan Vaswani yang ikut menulis paper fundamental yang telah disebutkan di atas.

LLM ini mencetak skor tinggi dalam hal akurasi. Sayangnya, Sobat Cuan tidak dapat mengakses Cohere secara gratis. Tiap 1 juta token alias kata, perusahaan ini mengenakan biaya sebesar US$15.

3. GPT 4

Sebagai member teranyar dari GPT, model ini tentu yang paling canggih besutan OpenAI.

GPT-4 telah dilatih dengan lebih dari 1 triliun parameter dengan jumlah kata maksimum yang bisa dihasilkan mencapai 32.768.

Download aplikasi Pluang untuk investasi Saham AS, emas, ratusan aset kripto dan puluhan produk reksa dana mulai dari Rp5.000 dan hanya tiga kali klik saja!

Dengan Pluang, kamu bisa melakukan diversifikasi aset dengan mudah dan aman karena seluruh aset di Pluang sudah terlisensi dan teregulasi. Ayo, download dan investasi di aplikasi Pluang sekarang!

Sumber: Machine Learning Mastery, towards data science