Token là gì?
Khối văn bản nhỏ, thường là một mảnh của từ, mà các mô hình đọc và tạo ra.
Định nghĩa chính thức
Một token là đơn vị văn bản mà một mô hình xử lý, thường là một từ hoặc một mảnh từ được tạo ra bởi một bộ tách token. Giới hạn của mô hình, độ trễ và giá API đều được đo bằng token. Trong AI Stock Challenge, số lượng token chi phối lượng dữ liệu thị trường vừa với một yêu cầu và tác động đến chi phí cùng tốc độ của mỗi quyết định của mô hình.
Nói đơn giản
Nó là viên gạch xây dựng của văn bản đối với một AI. Thay vì đọc cả câu cùng một lúc, một mô hình chia mọi thứ thành các mảnh nhỏ gọi là token, và cả giới hạn bộ nhớ lẫn hóa đơn của nó đều được đếm bằng chúng.
Ví dụ
Một khối tin tức thị trường dày đặc có thể là vài nghìn token, nên benchmark cô đọng nó lại để chừa chỗ cho suy luận và câu trả lời của mô hình.