Token

토큰

핵심 정의

AI 모델이 텍스트를 처리할 때 사용하는 최소 언어 단위(단어 글자 서브워드 조각)

실무 적용 및 상세 가이드

API 비용 계산 컨텍스트 윈도우 한도 모델 처리 속도를 결정하는 기본 단위 한글은 영문 대비 토큰 소모량이 많으므로 마크다운 요약이나 효율적 토크나이저 활용