[컨텍스트 엔지니어링] 1주차 Day 3 — ★ 토큰을 세어 본다: 누가 자리를 먹고 있나
주차 주제: 창 안을 들여다본다 | 제조 사례: 5분 만에 나온 답
오늘의 목표: 덩어리별 토큰을 실제로 재고, 추세로 볼 준비를 한다.
소요 시간: 30분
1. 왜 세는가
· 고칠 자리를 고르려고 ★
· 늘어나는 것을 보려고 ★
· 비용과 속도를 잇으려고 ★세 번째가 큽니다. 입력 토큰 = 비용이고 첫 글자 시간입니다. ★모델 고르기 과정 7·8주차와 같은 숫자입니다.
2. 어디서 세나
㉮ 응답에 들어 있는 값 ★
전체 입력 토큰. 가장 정확합니다
→ 다만 덩어리별로는 안 나옵니다 ★
㉯ 보내기 전에 우리가 센다 ★
덩어리마다 따로
→ 모델의 토크나이저와 조금 다릅니다 ★
㉰ 글자 수로 어림 ★
한국어 1,000자 ≈ 700~1,200 토큰 ★㉯ + ㉮ 를 같이 쓰세요. ★· ㉯ 로 비율을 보고 ★
· ㉮ 로 절대값을 맞춥니다 ★3. ★ 재는 자리는 「조립하는 곳」
프롬프트를 만드는 코드가 한 곳에 있어야
잴 수 있습니다. ★흩어져 있으면
· 어디서 무엇이 붙는지 모릅니다 ★
· 그래서 못 셉니다
· 그리고 못 고칩니다 ★그래서 먼저 할 일이
조립을 한 자리로 모으는 것입니다. ★모델 고르기 12주차 Day 2 의 `call.ts` 와 같은 자리입니다.
4. 남길 것
요청마다□ 덩어리별 토큰 (일곱 개) ★
□ 합계 입력 토큰 (응답에서) ★
□ 출력 토큰 ★
□ 캐시 적중 여부 ★
□ 첫 글자 시간 ★
□ 결과가 맞았나 (알 수 있으면) ★마지막이 있으면
토큰과 정확도를 이을 수 있습니다. ★
(내일 Day 4)5. 무엇을 볼 것인가
① 지금 비율 ★
누가 먹고 있나
② 추세 ★
늘고 있나
③ 분포 ★
평균 말고 P90 ★③이 자주 빠집니다. ★· 평균 9,000 토큰인데 ★
· P90 이 38,000 이면 ★
· 열 번에 한 번 네 배를 씁니다 ★그리고 그 한 번이
느리고 비싸고 틀립니다. ★6. 추세가 중요한 이유
컨텍스트는 저절로 늘어납니다. ★· 도구를 하나 더 붙입니다 ★
· 기술을 하나 더 넣습니다
· 검색 결과를 늘립니다 ★
· 문서가 길어집니다 ★각각은 작습니다.
합치면 어느 날 세 배가 돼 있습니다. ★그리고 아무도 모릅니다. ★그래서 매일 보세요. ★ 평균 입력 토큰이 20% 넘게 움직이면 ★
알리게 하세요.7. 제조 현장의 실제
어느 업체, 챗봇 비용이 석 달 만에 2.6배가 됐습니다.건수는 1.3배였습니다. ★덩어리별로 보니 덩어리 3월 6월 배수 ★
─────────────────────────────────────
시스템 지시 620 900 1.5 ★
기술 1,100 3,800 3.5 ★
도구 설명 2,200 6,400 2.9 ★
사내 어휘 1,800 2,100 1.2 ★
자료 8,400 11,200 1.3 ★
이력 2,900 4,100 1.4 ★
─────────────────────────────────────
합계 17,020 28,500 1.7 ★기술과 도구가 범인이었습니다. ★왜
· 기술을 다 넣고 있었습니다 ★
(쓰이는 건 한두 개인데)
· 도구를 붙일 때마다 안 뺐습니다 ★고친 것· 기술은 고른 것만 넣습니다 ★
(Skill 과정 3주차)
· 도구를 묶었습니다 (MCP 5주차) ★ 합계 28,500 → 14,100 ★그리고 정확도가 올랐습니다. ★8. ★ 「다 넣기」 가 기본값이 됩니다
처음엔 적게 넣습니다.그러다· "이것도 알면 좋겠는데" 하고 넣습니다 ★
· 빼는 사람은 없습니다
· 넣은 게 쓰였는지는 안 봅니다 ★그래서 쓰였는지를 세세요. ★· 이 기술이 실제로 쓰인 비율 ★
· 이 도구가 실제로 불린 비율 ★
· 이 문서가 실제로 인용된 비율 ★10% 아래면 빼는 게 낫습니다. ★9. 오늘 해 볼 것 (15분)
① 한 요청의 덩어리별 토큰을 세세요
덩어리 토큰 비율 ★
시스템 지시 ______ ___%
기술 ______ ___% ★
도구 설명 ______ ___% ★
사내 어휘 ______ ___%
자료 ______ ___% ★
이력 ______ ___%
질문 ______ ___% ★② 분포를 보세요
평균 ______ P90 ______ ★
→ P90 이 평균의 2배 넘나 ★③ 쓰임을 세어 보세요
도구 불린 비율 ★
________ ___%
________ ___% ★
→ 10% 아래인 것 ___개 ★10. 내일 할 것
넣을 수 있는 것과 넣어야 하는 것.
창이 커진 것이 왜 더 어려워진 것인지를 봅니다.
이 글은 컨텍스트 엔지니어링 과정의 1주차 3일차입니다. 과정 전체 보기
진도와 검색이 되는 판: AXPulse 기술따라가기
댓글
댓글 쓰기