[컨텍스트 엔지니어링] 2주차 Day 2 — ★ 안 바뀌는 것을 앞에: 캐시가 걸리는 자리
주차 주제: 자리와 순서 | 제조 사례: 순서만 바꿔 비용 1/8
오늘의 목표: 캐시가 먹는 조건을 알고, 배치로 비용과 속도를 같이 고친다.
소요 시간: 30분
1. 한 문장으로
같은 앞부분을 반복해서 보내면
다시 계산하지 않습니다. ★2. 무엇이 좋아지나
· 비용이 크게 줄어듭니다 ★
· 첫 글자 시간이 줄어듭니다 ★둘 다입니다. ★그리고 정확도는 그대로입니다. ★
같은 내용을 보내는 것이니까요. ★3. 조건
· 앞부분이 정확히 같아야 합니다 ★
한 글자만 달라도 안 먹습니다 ★
· 일정 길이 이상이어야 합니다 ★
· 유효 시간이 있습니다 ★자세한 값은 모델마다 다릅니다.
원리만 기억하세요. ★4. ★ 그래서 배치
나쁜 배치
[자료] [기술] [어휘] [도구] [질문] ★
↑ 매번 다름 → 캐시가 아예 안 먹습니다 ★좋은 배치
[시스템 지시] ★
[도구 설명]
[사내 어휘] ★
[기술]
──── 여기까지 매번 같음 → 캐시 ──── ★
[자료] ★
[질문]앞부분이 고정부입니다. ★5. 어제와 부딪히지 않나
어제 — 중요한 것을 뒤에 ★
오늘 — 안 바뀌는 것을 앞에 ★부딪히지 않습니다. ★· 안 바뀌는 것 = 지시·어휘·도구·기술 ★
· 중요한 자료 = 매번 다릅니다 ★둘 다 뒤쪽에 자료를 두라는 말입니다. ★ [고정부] → [덜 중요한 자료] → ★
[중요한 자료] → [질문] ★6. 캐시를 깨는 흔한 실수
① 자료를 앞에 둡니다 ★
② 날짜·시각을 앞에 넣습니다 ★
"오늘은 2026-09-12 입니다" ★
③ 사용자 이름을 앞에 넣습니다 ★
④ 기술을 골라서 넣습니다 ★
매번 다른 조합 → 캐시 깨짐 ★
⑤ 공백·줄바꿈이 조금씩 다릅니다 ★②③이 흔합니다. 뒤로 옮기면 됩니다. ★7. ④ 가 어려운 자리입니다
1주차 Day 5 에서 「기술은 고른 것만」 이라
했습니다. ★그런데 고르면 캐시가 깨집니다. ★어느 쪽인가 기술이 적고 작으면 → 전부 넣고 고정 ★
기술이 많고 크면 → 고르고 캐시 포기 ★가르는 지점 전부 넣은 고정부가 캐시 최소 길이를 ★
넘고, 자료보다 작으면 → 전부 넣기 ★대개 전부 넣기가 낫습니다. ★
캐시가 먹으면 거의 공짜니까요. ★8. 제조 현장의 실제
어느 업체, 추출 일 월 42,000건.프롬프트 구성 지시문 400 토큰 ★
용어 목록 1,200 토큰
예시 2개 1,800 토큰 ★
기준표 600 토큰
─────────────────────
고정부 4,000 토큰 ★
문서 평균 3,500 토큰 ★그런데 배치가 [문서] [지시문] [용어] [예시] [기준표] [질문] ★문서가 맨 앞이라 캐시 적중 0%. ★순서만 바꿨습니다. [지시문] [용어] [예시] [기준표] [문서] [질문] ★ 캐시 적중 0% → 53% ★
월 비용 1/8 ★
첫 글자 1.8초 → 0.6초 ★바꾼 것은 순서뿐입니다. ★9. ★ 왜 다들 안 고치나
· 캐시는 조용히 안 먹습니다 ★
오류가 안 납니다
· 응답에 적중률이 오는데 안 봅니다 ★
· 조립 코드가 문서를 먼저 붙이게 돼 ★
있습니다그래서 캐시 적중률을 화면에 띄우세요. ★안 보면 안 고칩니다. ★그리고 0% 면 순서부터 보세요. ★10. 오늘 해 볼 것 (15분)
① 적중률을 보세요
지금 캐시 적중률 ___% ★
→ 응답에서 받을 수 있나 ○/✗ ★② 고정부를 세세요
지시 ___ + 도구 ___ + 어휘 ___ + 기술 ___ ★
= 고정부 ___ 토큰 ★
자료 평균 ___ 토큰 ★③ 깨는 것을 찾으세요
□ 자료가 앞 □ 날짜·시각 □ 사용자명 ★
□ 기술을 골라 넣음 □ 공백이 들쭉날쭉 ★11. 내일 할 것
질문을 두 번 쓰는 이유.
거의 공짜인데 효과가 있는 수법입니다.
이 글은 컨텍스트 엔지니어링 과정의 2주차 2일차입니다. 과정 전체 보기
진도와 검색이 되는 판: AXPulse 기술따라가기
댓글
댓글 쓰기