[컨텍스트 엔지니어링] 3주차 Day 2 — ★ 컨텍스트 예산을 정한다
주차 주제: 덜어내기 | 제조 사례: 석 달 만에 1.7배가 된 창
오늘의 목표: 예산을 숫자로 정하고, 넘으면 막히게 만든다.
소요 시간: 30분
1. 왜 예산인가
어제 줄였습니다.
그런데 다시 늡니다. ★· 도구를 하나 더 붙입니다 ★
· 기술을 하나 더 넣습니다
· 검색을 6건으로 늘립니다 ★
· 문서가 길어집니다 ★각각은 작습니다. ★
합치면 어느 날 1.7배가 돼 있습니다. ★
(1주차 Day 3 의 그 회사)그리고 아무도 모릅니다. ★2. ★ 예산의 모양
─────────────────────────────────────────────
컨텍스트 예산 — 용도 ____________ ★
전체 상한 ______ 토큰 ★
덩어리 상한 우선순위 ★
───────────────────────────────────────
시스템 지시 ______ 1 (못 뺌) ★
사내 어휘 ______ 1
도구 설명 ______ 2 ★
기술 ______ 2
자료 ______ 3 ★
이력 ______ 4 (먼저 버림) ★
─────────────────────────────────────────────합이 전체 상한을 넘으면 넘치는 쪽을 버립니다. ★3. 전체 상한을 어떻게 정하나
창 크기가 아니라 꺾이는 지점으로. ★· 어제 잰 지점 (건수 → 토큰) ★
· 모델 고르기 5주차의 우리 상한 ★
· 그리고 비용과 속도 기준 ★셋 중 가장 작은 값을 쓰세요. ★예
꺾이는 지점 12,000 토큰 ★
응답 3초 기준 18,000 토큰 ★
비용 기준 15,000 토큰 ★
─────────────────────
상한 12,000 ★4. 우선순위 — 무엇부터 버리나
순위 덩어리 이유 ★
──────────────────────────────────────
1 시스템 지시 없으면 아예 안 됩니다 ★
사내 어휘 말을 못 알아듣습니다 ★
2 도구 설명 묶어서 줄입니다 ★
기술 고른 것만
3 자료 건수를 줄입니다 ★
4 이력 가장 먼저 버립니다 ★④가 왜 먼저인가· 오래된 턴은 대개 안 쓰입니다 ★
· 그런데 가장 빨리 붑니다 ★
· 그리고 잘라도 표시가 납니다 ★
(4주차에서 다룹니다)5. ★ 넘으면 막히게 하세요
예산을 문서로만 두면 안 지켜집니다. ★2주차 Day 5 의 조립 함수가 여기서 일합니다. ★ buildContext() 안에서 ① 덩어리마다 토큰을 셉니다 ★
② 상한을 넘으면 우선순위 낮은 것부터 ★
잘라냅니다
③ 잘랐다는 것을 기록합니다 ★
④ 그래도 넘으면 오류를 냅니다 ★③이 중요합니다. ★· 조용히 자르면 왜 틀렸는지 모릅니다 ★
· "이력 6턴을 잘랐음" 이 남아야 합니다 ★6. ④ 오류를 내는 자리
"자르면 되는데 왜 오류를?" ★· 우선순위 1 까지 잘라야 하면 ★
· 그건 설계가 틀린 것입니다 ★예
· 문서 하나가 상한보다 큽니다 ★
· 그러면 자를 게 없습니다
· 그때는 나눠서 물어야 합니다 ★조용히 잘라 버리면
절반만 읽고 답합니다. ★7. 제조 현장의 실제
어느 업체, 예산을 넣기 전과 후.전 — 상한 없음 평균 입력 17,000 토큰 ★
P90 52,000 ★
P99 141,000 ★
최대 388,000 ★최대 38만이 어디서 나왔나· 첨부가 큰 메일 ★
· 대화가 40턴 넘게 간 것
· 도구가 큰 표를 돌려준 것 ★그리고 그 건들은 · 느렸고 (30초+) ★
· 비쌌고
· 정확도가 낮았습니다 ★후 — 상한 12,000 평균 입력 9,100 토큰 ★
P90 11,800 ★
P99 12,000 ← 상한에 걸림 ★
잘린 비율 7% ★그리고 잘린 7% 를 보니 · 대부분 이력이 잘렸습니다 ★
· 정확도는 안 떨어졌습니다 ★
· 오히려 전체 평균이 올랐습니다 ★8. ★ 「잘린 비율」 을 지표로 두세요
잘린 비율 뜻 ★
──────────────────────────────────────
0% 상한이 헐겁습니다 ★
1~10% 적당합니다 ★
10~30% 뭔가 늘고 있습니다 ★
30%+ 설계를 다시 보세요 ★그리고 추세를 보세요. ★잘린 비율이 늘면
무언가 붙고 있는 것입니다. ★그게 1주차 Day 3 의 「저절로 늘어남」 을
자동으로 잡아 줍니다. ★9. 용도마다 다르게
용도 상한 이유 ★
──────────────────────────────────────
추출 작게 문서 하나면 됩니다 ★
분류 작게 더 작아도 됩니다 ★
질의응답 중간 검색 결과가 듭니다 ★
긴 작업 크게 이력이 필요합니다 ★전부 같은 값으로 두면 · 추출은 낭비하고 ★
· 긴 작업은 모자랍니다 ★모델 고르기 12주차의 갈래별 설정과
같은 자리에 두세요. ★10. 오늘 해 볼 것 (15분)
① 지금 분포를 보세요
평균 ____ P90 ____ P99 ____ 최대 ____ ★
→ 최대가 평균의 10배 넘나 ★② 상한을 정하세요
꺾이는 지점 ______ ★
응답 기준 ______
비용 기준 ______ ★
→ 상한 = 가장 작은 값 ______ ★③ 우선순위를 매기세요
1 ____________ 2 ____________ ★
3 ____________ 4 ____________ ★
→ 가장 먼저 버릴 것이 이력인가 ★11. 내일 할 것
무엇부터 버릴 것인가.
우선순위를 정했습니다. 내일은 같은 덩어리 안에서 무엇을 버릴지입니다.
이 글은 컨텍스트 엔지니어링 과정의 3주차 2일차입니다. 과정 전체 보기
진도와 검색이 되는 판: AXPulse 기술따라가기
댓글
댓글 쓰기