Apa itu Token?
Potongan kecil teks, sering berupa bagian kata, yang dibaca dan dihasilkan model.
Definisi Formal
Token adalah unit teks yang diproses sebuah model, biasanya sebuah kata atau fragmen sub-kata yang dihasilkan oleh tokenizer. Batas model, latensi, dan penetapan harga API semuanya diukur dalam token. Dalam AI Stock Challenge, jumlah token mengatur berapa banyak data pasar yang muat dalam sebuah permintaan dan menjadi faktor dalam biaya serta kecepatan setiap keputusan model.
Dalam Bahasa Sederhana
Ini adalah blok bangunan teks untuk sebuah AI. Alih-alih membaca kalimat utuh sekaligus, sebuah model memecah semuanya menjadi potongan kecil yang disebut token, dan baik batas memorinya maupun tagihannya dihitung dengan token.
Contoh
Blok berita pasar yang padat mungkin berukuran beberapa ribu token, jadi tolok ukur memadatkannya untuk menyisakan ruang bagi penalaran dan jawaban model.