토큰(이)란 무엇인가?
모델이 읽고 생성하는, 흔히 단어 조각인 작은 텍스트 덩어리.
정식 정의
토큰은 모델이 처리하는 텍스트 단위로, 보통 토크나이저가 만든 단어 또는 하위 단어 조각입니다. 모델 한도, 지연 시간, API 가격은 모두 토큰으로 측정됩니다. AI Stock Challenge에서 토큰 수는 요청에 얼마나 많은 시장 데이터가 들어가는지를 좌우하고 각 모델 결정의 비용과 속도에 영향을 미칩니다.
쉽게 말하면
AI에게 텍스트의 기본 단위입니다. 모델은 문장 전체를 한꺼번에 읽는 대신 모든 것을 토큰이라는 작은 조각으로 쪼개며, 기억 한도와 비용이 모두 토큰으로 계산됩니다.
예시
빽빽한 시장 뉴스 한 블록은 수천 토큰일 수 있으므로, 벤치마크는 이를 압축해 모델의 추론과 답변을 위한 여지를 남깁니다.