Bagaimana Cara Kerja ChatGPT? Teknologi Dijelaskan Secara Sederhana

Ada satu hal yang selalu menjadi perbincangan banyak orang selama beberapa tahun terakhir: ChatGPT.

Guru khawatir bahwa itu adalah pekerjaan rumah siswa. 

Penulis takut AI akan menulis buku dan cerita sebagai gantinya. 

Pembuat kode takut akan membuat situs web dan aplikasi yang lebih baik daripada yang bisa dilakukan manusia. 

Beberapa bahkan memprediksi bahwa jutaan pekerjaan bisa hilang karena AI. 

Kita semua pernah mendengarnya. Tapi apakah Anda pernah bertanya-tanya bagaimana ChatGPT berfungsi? 

Bagaimana ChatGPT menulis pekerjaan rumah anak-anak? Apa yang terjadi di balik layar saat Anda mengetik pertanyaan dan menjawab seperti orang sungguhan? 

Bagaimana sebuah mesin dapat menulis puisi, cerita, dan kode, meskipun mesin tersebut tidak memahami kata-kata seperti kita?

Di blog ini, kita akan melihat ke dalam ChatGPT dan menjelaskan apa itu ChatGPT dan bagaimana cara kerjanya, langkah demi langkah.

Anda akan belajar bagaimana cara mengingat sesuatu, apa batasannya, dan bagaimana alat seperti ini dibuat sejak awal. 

Mari kita mulai!

Yayasan: Model Bahasa GPT

ChatGPT adalah AI yang dibuat untuk memahami dan menulis seperti manusia. 

Ini disebut model bahasa karena bekerja dengan bahasa - membacanya, memprediksi, dan menghasilkannya. 

Tetapi ia tidak mengerti seperti yang orang lain pahami. Ia tidak berpikir. Ia tidak mengetahui fakta. Ia hanya melihat pola. 

Sebagai contoh, 

• Jika Anda mengetik, "Langit adalah..."
• Ini mungkin mengatakan "biru." 

Bukan karena ia tahu bahwa langit berwarna biru, tetapi karena ia melihat kalimat itu jutaan kali selama pelatihan. Ia belajar bahwa "biru" sering muncul setelah "langit".

Jenis AI ini disebut dengan LLMyang merupakan singkatan dari Model Bahasa Besar. 

Ia dilatih dengan banyak sekali buku teks, situs web, dan banyak lagi untuk mengetahui bagaimana manusia menggunakan kata-kata. Namun, ini bukan membaca untuk mencari makna. Ia mempelajari bagaimana kata-kata biasanya muncul bersebelahan. 

GPT adalah jenis LLM yang spesifik.

GPT adalah singkatan dari "Transformator Pra-terlatih Generatif."

• Generatif - dapat membuat teks baru.
• Pra-terlatih - belajar sebelum berbicara dengan Anda.
• Transformator - teknologi utama di balik cara kerja ChatGPT yang membantunya memahami bagaimana kata-kata berhubungan satu sama lain dalam kalimat, paragraf, atau bahkan percakapan.

Berikut ini adalah berbagai versi GPT yang telah diluncurkan selama bertahun-tahun.

Cara Kerja ChatGPT

Berikut ini adalah uraian sederhana tentang bagaimana ChatGPT bekerja dan memproses masukan Anda dalam lima langkah utama. 

• Langkah 1: Prapelatihan pada Data Besar

Model Bahasa Besar (Large Language Models atau LLM) seperti ChatGPT telah dilatih sebelumnya dengan memproses sejumlah besar teks dari internet untuk mempelajari pola bahasa. 

Selama pra-pelatihan, model memproses triliunan token (potongan-potongan kecil teks). 

A token dapat berupa kata, bagian dari kata, atau bahkan tanda baca, tergantung pada bagaimana model memberi tanda pada input. 

Sebagai contoh, 

Anda mengajukan pertanyaan matematika kepada ChatGPT, seperti:

Masalah:

• 2 + 3 = ? 

Selama pelatihannya, ChatGPT membaca ratusan miliar kata dari buku, berita, artikel, Wikipedia, cerita, makalah ilmiah, dan bahkan utas Reddit.

Pelatihan dan bacaan ini membantunya memahami cara kerja penjumlahan. 

Sebagai contoh,

Ini mungkin mempelajari properti komutatif (yaitu, 2 + 3 = 3 + 2) melalui konteks tersebut.

ChatGPT melihat banyak contoh seperti 

• "2 + 3 = 5," 
• "7 + 8 = 15," 
• "9 + 4 = 13." 

Ia tidak hanya mempelajari contoh-contoh spesifik ini, tetapi juga mempelajari pola penambahan. 

Ia memahami bagaimana angka berinteraksi dengan simbol "+" dan bagaimana hasilnya biasanya mengikuti simbol "=". 

• Langkah 2: Arsitektur Transformer

Setelah ChatGPT melihat sejumlah besar kata, ia membutuhkan otak yang dapat memahami semua informasi tersebut. Otak AI itu disebut "Transformer."

Yang membedakan Transformer adalah kemampuannya untuk memusatkan perhatian pada bagian terpenting dari input, sama seperti cara kita memproses bahasa. 

Sebagai contoh,

Mari kita terapkan hal ini pada soal matematika:

• "Berapa jumlah dari 5 dan 7?"

Saat memproses ini, Transformer tidak hanya memproses kata demi kata. 

Sebaliknya, ini melihat konteks lengkap - "jumlah," "5," dan "7" - sekaligus. 

Ini mengakui bahwa "jumlah" mengacu pada "penambahan" dan bahwa "5" dan "7" adalah angka-angka yang terlibat. 

Transformer kemudian memberikan lebih banyak "perhatian" pada kata-kata yang secara langsung memengaruhi jawaban, jadi fokus pada operasi ("jumlah") dan angka-angka ("5" dan "7"). 

Ini adalah bagian penting dari cara kerja ChatGPT - ini tidak memproses masalah secara linear, tetapi dengan cara yang membantunya memahami hubungan di antara berbagai elemen. 

Kemampuan untuk melihat segala sesuatu dalam konteksnya inilah yang membuat Transformer begitu dahsyat. 

Alih-alih hanya mencari tahu apa yang akan terjadi selanjutnya, ia memahami maknanya dengan menghubungkan potongan-potongan kalimat yang relevan. 

• Langkah 3: Tokenisasi dan Pemrosesan Bahasa

Ketika Anda mengetik teks ke ChatGPT, ini akan memecah prompt Anda menjadi beberapa bagian kecil token. 

Beberapa token adalah kata lengkap, sementara yang lain hanya bagian dari kata. 

Sebagai contoh, 

Saat Anda memasukkan "ChatGPT itu cerdas," ChatGPT membaginya menjadi beberapa token berikut:

["Chat," "G," "PT," "is," "smart"]

Bahkan nama "ChatGPT" dipecah menjadi beberapa token yang berbeda. 

Proses ini disebut tokenisasi. Karena model telah dilatih dengan token dan bukan kata-kata lengkap, maka model ini jauh lebih fleksibel untuk digunakan:

Berbagai bahasa (karena setiap bahasa memiliki struktur kata yang berbeda),

Bahasa gaul dan singkatan (seperti "u" untuk "Anda" atau "idk" untuk "Saya tidak tahu").

Bahkan kata-kata atau variasi yang dibuat-buat (seperti memecah kata "unbelievable" menjadi "un", "believe", dan "able"). 

• Langkah 4: Penyetelan Halus dan Lapisan Pengaman

Setelah ChatGPT dilatih dengan sejumlah besar data, ia belum siap untuk tayang perdana. 

Ia masih membutuhkan bantuan untuk memastikan bahwa ia merespons dengan cara yang paling berguna, sopan, dan aman. 

Melalui penyempurnaan yang diawasipengulas manusia memberikan contoh kepada ChatGPT tentang apa yang membuat respons yang baik. Sebagai contoh, 

• "Apa itu 5 + 7?"
  • Jawaban yang buruk: Ini adalah pertanyaan yang mudah. Mengapa Anda tidak tahu ini?
  • Jawaban yang bagus: Jumlah 5 dan 7 adalah 12. 

Seiring berjalannya waktu, ChatGPT dilatih dengan contoh-contoh yang lebih baik untuk menjadi lebih sopan, jelas, dan terarah. 

Setelah memiliki fondasi yang kuat, ia akan mendapatkan bantuan yang lebih lanjut melalui Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF).

Proses ini berjalan seperti ini:

• Jawaban ChatGPT. 
• Manusia menilai yang menjawab berdasarkan seberapa bagus - seberapa berguna, akurat, dan aman. 
• ChatGPT belajar dari umpan balik ini dan mencoba memberikan jawaban yang lebih baik di masa mendatang. 

Sebagai contoh, bayangkan ChatGPT menjawab soal matematika, seperti "Berapa 12 dibagi 4?": 

• ChatGPT menjawab: "3."
• Umpan balik manusia: Jawaban ini sangat bagus. 
• ChatGPT belajar: ChatGPT terus memberikan respons seperti ini ketika pertanyaan serupa muncul. 

Tujuannya adalah agar ChatGPT terus berkembang, seperti halnya seorang siswa yang belajar dari kesalahan di masa lalu. 

Terakhir, satu tujuan penting dari penyempurnaan oleh manusia adalah selaras dengan nilai-nilai kemanusiaan. 

Kami ingin agar tidak hanya cerdas, tetapi juga membantu, tidak berbahaya, dan jujur. 

Sebagai contoh, jika pengguna mengajukan pertanyaan yang rumit seperti, "Berapa akar kuadrat dari -1?" 

Alih-alih memberikan jawaban yang salah seperti "i adalah jawabannya" tanpa konteks apa pun, ia akan memberikannya:

Respons yang aman dan selaras: Akar kuadrat dari -1 adalah bilangan imajiner, yang biasanya direpresentasikan sebagai 'i'. Konsep ini digunakan dalam matematika tingkat lanjut. 

• Langkah 5: Prompt In, Response Out

Ini adalah langkah terakhir di mana ChatGPT siap untuk menjawab pertanyaan Anda. 

Prompt adalah teks (yaitu pertanyaan, perintah, atau pernyataan) yang Anda ketik di ChatGPT untuk memulai percakapan dan mendapatkan respons. 

Sebagai contoh, 

Anda memasukkan prompt "Bagaimana cuaca hari ini?" 

Inilah cara kerja ChatGPT di balik layar:

Anda mengetikkan perintah → ChatGPT memecahnya menjadi token → ChatGPT mencari pola dalam token → Memprediksi kata berikutnya → Membentuk respons → Menyesuaikan nada berdasarkan teks Anda → Mendapatkan jawaban akhir Anda

Untuk prompt "Bagaimana cuaca hari ini?", ChatGPT kemungkinan akan merespons dengan sesuatu seperti: 

"Saya tidak dapat memberikan pembaruan cuaca secara real-time, tetapi Anda dapat memeriksa situs atau aplikasi cuaca seperti Weather.com atau berita lokal untuk mendapatkan informasi yang paling akurat."

Ini karena ChatGPT tidak memiliki akses data langsung kecuali jika terhubung ke alat yang mengambil informasi real-time. 

Bagaimana Ia "Mengingat" Percakapan

Ketika Anda berbicara dengan ChatGPT, sepertinya ia akan mengingat hal-hal yang Anda katakan sebelumnya. 

Dan memang benar - tetapi hanya saat obrolan terbuka. Bayangkan sebuah buku catatan besar di mana semua yang Anda ketik akan ditulis: 

Kau bilang:

• Nama anjing saya adalah Max.

Beberapa baris kemudian, Anda berkata:

• Trik apa yang bisa dipelajari Max?

ChatGPT menghubungkan titik-titik tersebut. Ia mengingat bahwa Max adalah anjing Anda, karena ia masih ada di notepad. 

Buku catatan ini disebut jendela konteks, dan menyimpan sejumlah kata (disebut token). 

Beberapa versi dapat menampung sekitar 8.000 token, sementara versi terbaru dapat mencapai 32.000 token. 

Tetapi, setelah Anda mencapai batas, maka Anda harus mulai menghapus bagian yang paling lama untuk memberi ruang bagi teks yang baru. 

Jadi jika Anda mengatakan "Nama anjing saya adalah Max" di awal obrolan yang panjang - dan kemudian 50 paragraf kemudian bertanya, "Tali pengikat apa yang bagus untuknya?" - mungkin akan lupa siapa "dia" itu. 

Karena info tersebut sudah dihapus dari notepad. 

Sekarang mari kita bicara tentang memori di antara obrolan.

Biasanya, ketika Anda menutup obrolan, notepad akan dibersihkan. 

Jadi, saat Anda membuka ChatGPT, ia akan memulai dari awal.

 Tetapi jika Anda mengaktifkan memori khusus, ChatGPT dapat mengingat berbagai hal di seluruh sesi. Sebagai contoh, 

• Kau katakan: Saya menjalankan toko roti online kecil bernama Sweet Crumbs. 
• Seminggu kemudian, kata Anda: Tuliskan saya deskripsi produk. 
• Ini mungkin akan menjawab: Tentu! Berikut adalah deskripsi untuk kue Sweet Crumbs Anda...

Aplikasi ini tidak mengingat semuanya. Aplikasi ini hanya mengingat apa yang Anda izinkan, dan Anda akan diberitahu ketika ada sesuatu yang ditambahkan. Anda dapat melihat, mengedit, atau menghapus memori kapan saja.

Jadi kesimpulannya adalah... 

ChatGPT sebenarnya tidak "ingat" seperti manusia. Ia hanya melihat apa yang ada di depannya - percakapan saat ini.

Jika terlihat seperti mengingat sesuatu dari sebelumnya, itu karena info tersebut masih berada di dalam jendela konteks.

Keterbatasan Cara Kerja ChatGPT

ChatGPT sangat membantu, tetapi penting untuk memahami keterbatasannya, terutama jika Anda menggunakannya untuk apa pun yang berhubungan dengan pelanggan atau yang digerakkan oleh konversi. 

1 - Tidak ada pemahaman atau kesadaran yang nyata
ChatGPT tidak memahami konten seperti halnya manusia. ChatGPT tidak "mengetahui" fakta - ChatGPT hanya memprediksi kata yang mungkin muncul berikutnya berdasarkan data pelatihan. 

Sebagai contoh, 

Jika Anda bertanya, "Apa arti kesuksesan?" mungkin menghasilkan respons yang lancar, tetapi tidak memiliki keyakinan, nilai, atau kesadaran. Ia hanya meniru pola, bukan membentuk wawasan.

2 - Bias dari data pelatihan
Karena ChatGPT dilatih dengan sumber-sumber yang besar dan beragam dari internet, buku, forum, dan artikel, ChatGPT dapat mewarisi bias-bias yang terdapat pada data tersebut. 

Jika internet condong ke satu arah pada suatu topik, ChatGPT mungkin mencerminkan perspektif itu - terkadang secara halus, terkadang tidak - bahkan ketika netralitas diperlukan.

3 - Tidak menjelajahi internet
ChatGPT tidak dapat mengambil data waktu nyata. Tanyakan tentang produk yang diluncurkan minggu lalu atau harga saham hari ini, dan ia tidak akan tahu. 

Data pelatihannya memiliki batas akhir, dan apa pun setelah titik itu tidak dapat dijangkau.

4 - Dapat "berhalusinasi" fakta atau mengutip sumber palsu
Salah satu kebiasaan yang lebih berbahaya: ChatGPT bisa mengarang cerita. Mintalah statistik atau kutipan, dan ia mungkin akan merespons,

"Menurut Organisasi Kesehatan Dunia, 80% orang dewasa lebih memilih merek X daripada merek Y."

Kedengarannya resmi - tetapi statistik itu kemungkinan besar tidak ada. 

Itu tidak diambil, melainkan diciptakan. Masalah ini dikenal sebagai halusinasidan sangat berisiko dalam penelitian, jurnalisme, atau konten teknis. 

Jika Anda bertanya pada ChatGPT bagaimana cara kerjanya, Anda akan melihat bahwa itu tidak selalu akurat secara faktual.

Jika Anda menggunakan ChatGPT untuk tujuan menulis, hasilnya akan terasa kaku, robotik, atau tidak memiliki sisi manusiawi. 

Untuk nuansa seperti itu, Anda dapat menggunakan AI Humanizer. 

The AI Humanizer menulis ulang output ChatGPT untuk nada, nuansa, dan emosi, sehingga memberikan detak jantung pada konten Anda. 

Ini melembutkan frasa yang canggung, menambah kehangatan, dan membuat salinan teknis atau salinan kering beresonansi dengan audiens Anda.

Ketika konten Anda terdengar manusiawi, maka kinerjanya akan lebih baik. 

Baik saat Anda menulis halaman arahan, email, atau postingan LinkedIn, keterkaitan akan mendorong respons. Dan emosi mendorong konversi.

Peningkatan dalam GPT-4 vs GPT-3.5

GPT-3.5 adalah versi gratis, yang cepat, solid, dan bagus untuk tugas-tugas sederhana. GPT-4 adalah versi berbayar dari OpenAI yang lebih cerdas, lebih kuat, dan jauh lebih bermanfaat. 

Berikut ini cara kerja ChatGPT dengan kedua model tersebut:

Intinya adalah GPT-3.5 sangat membantu. GPT-4 dapat diandalkan, penuh perhatian, dan terasa seperti mendengarkan.

Mulailah menjelajah-Detektor AI dan Humanizer kami menunggu di widget di bawah ini!

Bagaimana Alat AI Seperti ChatGPT Dibangun

Membuat AI seperti ChatGPT atau model bahasa besar lainnya adalah proyek multi-tahun yang melibatkan kumpulan data besar, tim ahli, dan iterasi tanpa henti. 

Berikut ini adalah bagaimana hal itu biasanya terjadi: 

1. Tahap Pertama: Pengumpulan Data (6-12 bulan)

Tujuan: Ajarkan pola bahasa model.

Sebelum AI dapat menjawab pertanyaan, AI perlu mempelajari cara manusia menulis dan berbicara. 

Hal ini dimulai dengan mengumpulkan ratusan miliar kata dari buku, situs web, berita, artikel, makalah akademis, dan banyak lagi. 

Ia tidak "membaca" seperti manusia. Sebaliknya, ia mengidentifikasi pola, seperti yang telah kami jelaskan pada bagian di atas.

Waktu yang dibutuhkan: 6-12 bulan, tergantung skala dan ukuran tim. 

2. Tahap Kedua: Pelatihan Awal Model (6-9 bulan)

Tujuan: Membangun otak.

Prapelatihan melibatkan pemberian teks dalam jumlah besar kepada model dan membiarkannya memprediksi kata-kata yang hilang berulang kali sampai model tersebut mulai melakukannya dengan benar. 

Fase ini sering kali membutuhkan kekuatan Cluster GPU dan ratusan juta dolar dalam sumber daya komputasi. 

Waktu yang dibutuhkan: Pelatihan GPU tanpa henti selama 6-9 bulan.

3. Tahap Ketiga: Penyempurnaan & Umpan Balik dari Manusia (3-6 bulan)

Tujuan: Jadikan AI berguna.

Sekarang ia dapat berbicara - tetapi apakah itu masuk akal? Mungkin iya, mungkin juga tidak. Pada titik ini, peninjau manusia menilai keluaran, memperbaiki kesalahan, dan memandu model menggunakan Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF).

Waktu yang dibutuhkan: 3-6 bulan, sering kali berjalan bersamaan dengan pengujian awal.

4. Fase Empat: Penyebaran & Infrastruktur (Sedang Berlangsung)

Tujuan: Buatlah agar dapat diukur.

Setelah dilatih, model ini digunakan di seluruh situs web, aplikasi, API, dan platform perusahaan. Hal ini membutuhkan infrastruktur backend yang serius: pusat data, API penskalaan otomatis, dan sistem penyeimbangan beban untuk menangani jutaan pengguna secara bersamaan.

Jangka waktu: Dimulai setelah pelatihan, tetapi terus berlanjut tanpa batas waktu.

5. Fase Lima: Keselamatan, Bias & Etika (Sedang berlangsung, paralel)

Tujuan: Jaga agar tetap aman, jujur, dan tidak berbahaya.

AI bukan hanya tentang kecerdasan - tetapi juga tentang tanggung jawab. Tim etika bekerja secara paralel untuk menandai potensi penyalahgunaan, mengurangi bias, memblokir konten berbahaya, dan menegakkan standar privasi. Mereka secara konstan mengevaluasi bagaimana model berperilaku di dunia nyata.

Jangka waktu: Proses seumur hidup; tertanam dalam setiap tahap di atas.

Tanya Jawab Tentang Cara Kerja ChatGPT

Pikiran Akhir

Model Bahasa Besar (LLM) telah mengubah cara kita berinteraksi dengan teknologi.

Mereka dapat membuat teks yang terdengar seperti ditulis oleh manusia, membantu tugas-tugas seperti menjawab pertanyaan dan membuat konten kreatif. 

Tetapi, LLM tidak "mengerti" atau berpikir seperti manusia. Mereka bekerja dengan memprediksi pola dalam data, bukan melalui pemikiran manusia. 

Seiring dengan semakin baiknya LLM, kita perlu memikirkan masalah yang dapat ditimbulkannya, seperti bias, masalah privasi, dan penyalahgunaan. 

Penting untuk menggunakan AI dengan hati-hati, memastikannya adil, transparan, dan tidak menyebarkan informasi palsu atau membahayakan privasi. 

Berikut ini adalah panduan penggunaan: 

• Ketahuilah bahwa AI dapat memiliki bias dalam kontennya.
  
• Gunakan alat bantu AI dengan cara yang mengikuti aturan privasi.
  
• Periksa kembali informasi penting dari sumber tepercaya.
  
• Jangan terlalu mengandalkan AI. AI adalah alat bantu, bukan pengganti pemikiran manusia.

Seiring dengan teknologi AI yang terus berkembang menjadi lebih kuat, muncul pertanyaan: Bagaimana kita dapat memastikan bahwa kemajuannya meningkatkan kreativitas dan pengambilan keputusan manusia, alih-alih menggantikan hal-hal yang membuat kita menjadi manusia yang unik?