[컨텍스트 엔지니어링] 6주차 Day 3 — 한 번 틀리면 계속 틀리는 이유

주차 주제: 오염과 방어 | 제조 사례: 3턴에 틀린 품번이 끝까지 갔다

오늘의 목표: 틀린 것이 스스로 굳는 기전을 알고, 끊는 법을 정한다.

소요 시간: 30분

---

1. 한 문장으로

모델이 한 말은 다음 턴에 자료가 됩니다.    ★

---

2. 굳는 과정

  3턴   "A001 로 보입니다"  ← 추측           ★
  4턴   (이력에 남음)
  6턴   "앞서 확인한 A001 은..."  ← 확인   ★
  9턴   "A001 기준으로 계산하면..."           ★
  15턴  A001 이 사실이 됩니다             ★

추측이 확인이 되고
확인이 사실이 됩니다.                     ★

그리고 아무도 안 물어봤습니다.            ★

---

3. ★ 왜 굳나

① 모델은 자기 말을 자료로 읽습니다        ★
   이력에 있으니까요

② 앞뒤가 맞아야 한다고 배웠습니다        ★
   앞에서 A001 이라 했으니 유지합니다      ★

③ 추측인지 확인인지 표시가 없습니다      ★

③이 고칠 수 있는 자리입니다.                 ★

---

4. 표시를 남기세요

4주차 Day 3 의 칸에 이걸 넣으세요.        ★

  [정해진 것]                                ★
   품번: A001  (출처: 품목검색 · 확인됨)     ★
   수량: 1200  (출처: 사용자)               ★
   납기: 7/15  (추정 · 미확인)              ★

그러면

· 추정은 추정으로 남습니다                ★
· 15턴에도 "미확인" 이 보입니다             ★
· 사람이 눈으로 잡습니다                  ★

한 칸 더 두는 것뿐입니다.                    ★

---

5. 출처 세 가지

  사용자     사람이 말한 것                ★
  도구       조회해서 확인한 것            ★
  추정       모델이 만든 것                ★

셋을 가르면

· 추정만 모아 볼 수 있습니다                ★
· 추정이 몇 개인지 셉니다                 ★
· 그리고 추정으로 결론내지 못하게         ★

프롬프트에 한 줄

  "추정인 값으로 최종 판단을 내리지 않는다.  ★
   확인하거나 사람에게 묻는다."             ★

---

6. 오염이 밖으로도 갑니다

한 대화에서 끝나지 않습니다.                 ★

· 요약에 들어갑니다 (4주차 Day 3)           ★
· 밖에 저장됩니다 (4주차 Day 4)             ★
· 다음 대화에서 불려 옵니다               ★

그러면 영구히 사실이 됩니다.              ★

그래서

□ 저장할 때 출처를 같이                    ★
□ 추정은 저장하지 마세요                   ★
   또는 "추정" 이라고 박아서                ★
□ 사람이 보고 고칠 수 있게                 ★

두 번째가 중요합니다.                        ★

추정을 기억에 넣으면
다음에는 확인된 것처럼 나옵니다.          ★

---

7. 제조 현장의 실제

어느 업체, 견적 대화에서 품번이 틀렸습니다.

· 3턴에 모델이 추측했습니다               ★
· 비슷한 품명이라                          ★
· 이후 15턴 동안 그 품번으로 진행         ★
· 단가·수량·납기가 전부 그 품번 기준      ★

그리고 견적이 나갔습니다.                    ★

· 고객이 받고 "이 품번이 아닌데요"          ★
· 전부 다시                                ★

고친 것

① 「정해진 것」 에 출처 칸                ★
② 추정은 빨간색으로 화면에 표시           ★
③ 추정이 있으면 결론을 못 내게            ★
④ 요약·저장에 추정을 안 싣게              ★

결과

  추정으로 진행한 건  월 6건 → 0건        ★
  대신 되묻기가 늘었습니다                 ★
    월 4건 → 21건                          ★

되묻기가 는 게 좋은 것입니다.             ★

전에는 안 묻고 추측으로 갔습니다.         ★

---

8. ★ 「되묻기가 늘었다」 를 나쁘게 보지 마세요

흔한 오해

  "AI 가 자꾸 물어봐서 불편해요"             ★

그런데

· 안 물으면 추측합니다                    ★
· 추측은 굳습니다
· 그리고 끝에 가서 터집니다                 ★

그래서

  일찍 묻는 것이 싸게 먹힙니다.            ★

다만 묻는 비용을 낮추세요.                ★

· 선택지로 묻기 (자유 서술 말고)           ★
· 후보를 보여 주고 고르게                  ★
· 한 번에 모아서 묻기                      ★

---

9. 끊는 법 — 정리

□ 「정해진 것」 에 출처를 남긴다            ★
□ 추정을 표시하고 화면에 띄운다            ★
□ 추정으로 결론을 못 내게                  ★
□ 요약·저장에 추정을 안 싣는다             ★
□ 되묻는 비용을 낮춘다                       ★

다섯입니다.                                  ★

---

10. 오늘 해 볼 것 (15분)

① 긴 대화 하나를 열어 보세요

  추측이 확인으로 바뀐 자리가 있나      ★
  몇 턴째  ___턴                             ★

② 출처 칸을 설계하세요

  값          출처 (사용자/도구/추정)        ★
  ________    ____________
  ________    ____________                   ★

③ 저장된 기억을 보세요

  밖에 저장된 것 중
  추정인데 확인된 것처럼 있는 것  ___건     ★

---

11. 내일 할 것

창을 비우고 다시 시작하기.

굳은 것을 끊는 가장 확실한 방법입니다.

---

이 글은 컨텍스트 엔지니어링 과정의 6주차 3일차입니다. 과정 전체 보기

진도와 검색이 되는 판: AXPulse 기술따라가기