Belajar LLM dari nol : Membangun Mini-GPT yang Berjalan di Lokal

Perkembangan AI cukup masif pada tahun ini, 2026. Para perusahaan besar seperti OpenAI dan Anthropic terus berlomba merilis AI dengan kemampuan yang lebih hebat dari sebelumnya.

Orang-orang mulai menggunakan model AI tersebut untuk keperluan profesional, kreatif, dan hal lainnya. Tak terkecuali saya sendiri, yang menggunakannya untuk membantu membangun Aplikasi. Meskipun dalam tanda kutip setiap kode yang dibangun harus tetap kita pahami fungsinya.

Model besar AI seperti Claude dan ChatGPT tersebut dibangun diatas sebuah konsep LLM (Large Language Model). LLM Sendiri adalah model dasar dilatih dengan banyaknya data untuk bisa memahami berbagai hal. LLM bekerja dengan menebak setiap token selanjutnya pada sebuah kata dan simbol. Sehingga LLM dapat mengetahui apa yang dimaksud oleh sebuah kalimat.

Saya Mencoba membangun LLM seperti Mini-GPT yang dapat berjalan di komputer pribadi secara lokal.

Adapun spefisikasi laptop yang saya gunakan adalah sebagai berikut: Prosessor: Intel Core I5 gen 12 RAM: 16GB

Saya akan membangun LLM dengan arsitektur 128 dimensi, 0,8 parameter dan 4 layer.

Setiap huruf unik nantinya akan diberikan nomor sehingga sebuah text akan menjadi deretan angka.

Cara kerja dari LLM ini adalah ketika model dilatih misal dengan kata "raka". Maka ketika diberikan "rak" maka ia bisa menebak kelanjutannya yaitu "aka". Proses alurnya yaitu dengan menggeser satu token.

setiap token akan mengecek seberapa relevan token-token sebelumnya. Mask kemudian akan mencegah token mengintip masa depan.

Tebak satu token, tambahkan ke teks, lalu mengulangi. Beginilah cara LLM berfikir.

Setelah dilakukan training terhadap model. Awalnya model masih banyak salah (train loss), namun proses training terhadap 30 teks yang diulang menghasilkan train loss sebanyak 0.06. Hampir mendekati teks aslinya.

Meski begitu, hasil training terhadap model masih mendapatkan banyak kesalahan kata.

Saya memahami bahwa semakin banyak proses training maka model akan semakin pintar. Meskipun dalam kasus ini model masih seperti menghafal teks.