Part 1 · Ch05 · 토큰 효율
Cache 구조 — 세 가지만
캐시는 이 세 가지 함의만 알면 된다. 셋 다 워크플로우에 직접 영향을 준다.
1
Cache TTL: 5분
마지막 hit에서 다시 5분 연장.
점심 먹고 오면 캐시는 죽어 있다
— 연속 세션에 효과, 띄엄띄엄 쓰면 쓸모 적음.
2
Prefix 기반
앞에서부터 길게 일치할 때만 hit.
한 토큰만 앞에서 바뀌어도 캐시 전체가 깨진다.
[system + CLAUDE.md + 큰 파일] ← 캐시됨
[+ 변하는 user message] ← 매번 fresh
3
Write가 비싸다
첫 호출은 25% 비쌈.
적어도 2~3번 재사용될 prefix만
캐시하는 게 합리적.
Cache write
× 1.25
Cache read
× 0.10
← 이전
☰ 목차 · 108 / 150
다음 →