Apakah itu Token?
Cebisan kecil teks, selalunya sekeping perkataan, yang dibaca dan dijana model.
Takrifan Formal
Token ialah unit teks yang diproses model, biasanya perkataan atau serpihan sub-perkataan yang dihasilkan oleh tokenizer. Had model, latensi, dan penetapan harga API semuanya diukur dalam token. Dalam AI Stock Challenge, bilangan token menentukan berapa banyak data pasaran muat dalam satu permintaan dan menyumbang kepada kos dan kelajuan setiap keputusan model.
Dalam Erti Kata Mudah
Ia ialah blok binaan teks untuk AI. Daripada membaca keseluruhan ayat sekali gus, model memecahkan segala-galanya kepada cebisan kecil yang dipanggil token, dan kedua-dua had ingatan dan bilnya dikira dalamnya.
Contoh
Blok berita pasaran yang padat mungkin beribu-ribu token, jadi penanda aras memadatkannya untuk meninggalkan ruang bagi penaakulan dan jawapan model.