[컨텍스트 엔지니어링] 4주차 Day 1 — 대화가 길어지면 생기는 일

주차 주제: 기억과 잊기 | 제조 사례: 20턴째에 딴소리를 하던 챗봇

오늘의 목표: 긴 대화에서 무엇이 무너지는지 알고, 어디서 꺾이는지 잰다.

소요 시간: 30분

---

1. 한 문장으로

대화는 저절로 길어지고
길어지면 저절로 나빠집니다.                ★

---

2. 얼마나 붓나

  1턴   1,000                                ★
  2턴   1,600
  3턴   2,400                                ★
  ...
  10턴  9,000+                               ★
  20턴  25,000+                            ★

그리고 도구를 부르면 훨씬 빨리 붑니다.    ★

· 도구 호출 기록                            ★
· 도구가 돌려준 값 (길 수 있습니다)
· 그게 전부 남아 다음 턴에 갑니다         ★

---

3. ★ 무엇이 무너지나 — 넷

① 앞의 지시를 잊습니다                     ★
   "300자 이내" 를 10턴째엔 안 지킵니다    ★

② 앞의 결정을 뒤집습니다                   ★
   3턴에 정한 것을 12턴에 다르게           ★

③ 가운데를 흘립니다                        ★
   대화 가운데가 가장 안 읽힙니다          ★

④ 느리고 비싸집니다                        ★

②가 실무에서 가장 아픕니다.                  ★

---

4. ② 결정을 뒤집는 것

  3턴  "품번은 A001 로 하겠습니다"            ★
  ...
  12턴  "A002 로 진행하면..."                 ★

사람은 알아챕니다.                        ★
모델은 안 알아챕니다.                      ★

그리고 더 나쁜 것

  왜 바뀌었는지 말 안 합니다.              ★

그래서

  긴 작업을 맡기면 중간에 딴 길로 갑니다.  ★

---

5. 고치는 법 — 결정을 따로 두기

대화 이력에 섞어 두지 말고
「정해진 것」 을 따로 관리하세요.          ★

  [정해진 것]                                ★
   품번: A001                                ★
   수량: 1,200                               ★
   납기: 2026-07-15                          ★

그리고 매 턴 앞쪽에 넣습니다.             ★

· 짧습니다                                  ★
· 안 흘립니다
· 바뀌면 명시적으로 바꿉니다              ★

이력은 줄여도 이건 남깁니다.              ★

---

6. ① 지시를 잊는 것

2주차 Day 3 의 질문 두 번이 여기서도       ★
듣습니다.

· 매 턴 끝에 형식·제약을 다시              ★
· 짧게 (한두 줄)                            ★

그리고 고정부는 앞에 그대로 둡니다.       ★
  (캐시 때문에)

그래서 모양이

  [고정부: 지시·어휘·도구·기술]  ← 캐시       ★
  [정해진 것]                                ★
  [이력 (줄인 것)]
  [이번 질문 + 형식·제약 다시]              ★

---

7. 어디서 꺾이나 — 재는 법

턴 수를 바꿔 가며 재세요.                    ★

  턴     지시 준수   결정 유지   토큰        ★
  ──────────────────────────────────────
  1~3    ___%        —          ____        ★
  4~8    ___%        ___%       ____
  9~15   ___%        ___%       ____        ★
  16+    ___%        ___%       ____        ★

「결정 유지」 를 어떻게 재나

· 3턴에 정한 값을 15턴에 다시 묻습니다   ★
· 같은 답이 나오나 봅니다                   ★

간단하고 잘 드러납니다.                      ★

---

8. 제조 현장의 실제

어느 업체, 견적 초안을 대화로 만들었습니다.

· 품목·수량·조건을 주고받으며 정합니다      ★
· 마지막에 견적서를 냅니다

그런데

· 15턴 넘어가면 앞에서 정한 단가가        ★
  달라졌습니다
· 형식도 흐트러졌습니다                     ★

쟀습니다

  턴      결정 유지                          ★
  ──────────────────────
  5턴     98%                                ★
  10턴    94%
  15턴    81%                              ★
  20턴    67%                              ★

고친 것

① [정해진 것] 블록을 따로 두고 매 턴 앞에  ★
② 이력은 최근 6턴 + 요약                 ★
③ 매 턴 끝에 형식 한 줄                    ★

  20턴 결정 유지  67% → 96%              ★
  토큰           25,000 → 8,400          ★

그리고 뜻밖에

  사람도 [정해진 것] 을 봤습니다.          ★
  "아 이렇게 정했었지"                     ★

---

9. ★ 「정해진 것」 은 사람에게도 좋습니다

· 지금까지 뭘 정했는지 한눈에             ★
· 빠진 것이 보입니다
· 인계할 때 그것만 주면 됩니다              ★

그래서 화면에도 띄우세요.                 ★

대화 옆에 「정해진 것」 칸.                  ★

그러면

  · 사람이 고칠 수 있습니다                ★
  · 모델이 틀리게 적었으면 바로 잡습니다   ★

---

10. 오늘 해 볼 것 (15분)

① 평균 턴 수를 보세요

  대화당 평균  ___턴                         ★
  P90         ___턴                         ★

② 결정 유지를 재세요

  초반에 정한 값을 후반에 다시 묻기
  같은 답  ___/10                            ★

③ 「정해진 것」 을 설계하세요

  이 일에서 「정해지는 것」
  1. ________  2. ________                   ★
  3. ________  4. ________

---

11. 내일 할 것

무엇을 기억하고 무엇을 흘려보낼까.

이력을 줄이되 버리면 안 되는 것을 가릅니다.

---

이 글은 컨텍스트 엔지니어링 과정의 4주차 1일차입니다. 과정 전체 보기

진도와 검색이 되는 판: AXPulse 기술따라가기