토큰

뜻

토큰은 모델이 텍스트를 읽고 쓰는 최소 단위다. 단어 하나가 토큰 하나인 경우도 있고, 긴 단어나 드문 단어는 여러 토큰으로 쪼개지며, 한글은 글자 하나가 한두 토큰이 되기도 한다. 모델마다 토크나이저(쪼개는 규칙)가 달라 정확한 수는 다르지만, 대략 영어 1단어 ≈ 1.3토큰, 한국어 1글자 ≈ 1~2토큰으로 잡는다. 컨텍스트 창의 한도, 도구의 사용량 계산, 모델 제공사의 요금은 모두 토큰 단위다. 입력 토큰(프롬프트)과 출력 토큰(답변)은 따로 세며, 보통 출력이 입력보다 비싸다.

왜 중요한가

작가에게 토큰이 중요한 이유는 한국어가 비싸기 때문이다. 같은 장면을 영어로 쓰면 500토큰인 것이 한국어로는 1,000토큰 안팎이 될 수 있다. 컨텍스트 창이 같아도 한국어 원고는 절반만 들어가고, 같은 크레딧으로 생성되는 분량도 절반이다. 그래서 한국어 집필 도구는 설정집 발췌와 직전 원고 길이를 영어 도구보다 더 빡빡하게 관리해야 한다. 토큰을 알면 도구의 사용량 표시도 읽힌다. "이 요청에 크레딧 N"이라는 안내는 입력 토큰 + 예상 출력 토큰의 환산이다. 프롬프트가 길수록, 요청 분량이 길수록 비용이 오른다. 문체 샘플을 3,000자 넣는 것과 800자 넣는 것은 결과 차이는 작고 비용 차이는 크다.

예시

같은 문장의 토큰 수 (모델에 따라 다름, 예시)

문장	글자/단어	대략 토큰
She opened the drawer.	4단어	5
그녀는 서랍을 열었다.	11자(공백 포함)	9~12
The bankbook had her name on it.	7단어	8
통장에는 그녀의 이름이 적혀 있었다.	19자	15~20

한국어가 영어의 두 배 안팎이다. 5,000자 회차 하나는 대략 4,000~8,000토큰이고, 이것을 통째로 이어쓰기의 입력으로 넣으면 그만큼의 여유가 사라진다. 직전 회차 전체가 아니라 마지막 1,500자만 넣는 관행이 여기서 나온다.

흔한 실수

• 글자수와 토큰을 같다고 본다. 한국어는 글자보다 토큰이 많을 수 있다. 한도를 글자수로 계산하지 마라.
• 입력을 아끼지 않는다. 긴 프롬프트는 결과를 좋게 하지 않고 비용만 올린다. 필요한 것만.
• 출력 토큰을 잊는다. 한 번에 회차 하나(5,000자)를 요청하면 출력만 수천 토큰이다. 장면 단위로 나눠 요청하는 것이 대개 결과도 좋다.