Part 1 · Ch05 · 토큰 효율

Token이란?

모델이 텍스트를 처리하는 최소 단위. 단어 하나가 토큰 하나가 아니라, BPE(Byte Pair Encoding) 사전에 맞춰 자주 쓰는 부분 문자열을 한 덩어리로 묶는다.

Token izer splits sub word s

영어

1토큰 ≈ 4글자
≈ 0.75 단어

코드

영어와 비슷한 수준

한국어

1토큰 ≈ 1.5~2글자
영어의 약 2배

한국어로 쓴 1,000줄 CLAUDE.md는 같은 내용의 영어보다 두 배 가까이 토큰을 먹는다 — 글로벌 팀이라면 이런 선택도 비용 차원에서 한 번 검토할 가치가 있다.