[기준정보 따라가기] 2주차 Day 4 — AI 가 데이터 앞에서 멈추는 이유
주차 주제: 기준정보가 무너지면 무엇이 무너지나 | 제조 사례: 자신 있게 틀린 답
오늘의 목표: 기준정보 문제가 AI 에서 어떻게 증폭되는지 보고, 왜 지금 값이 달라졌는지 안다.
소요 시간: 30분
1. 한 문장으로
사람은 이상하면 멈춘다.
AI 는 이상해도 자신 있게 답한다. ★
2. 사람이 메우던 것
지금까지 회사가 돌아간 이유
김 대리가 압니다
"PRD-A-001 이랑 A001 이랑 같은 거예요"
"미분류는 대부분 소모품이에요" ★
"그 부서는 작년에 없어졌어요"
사람은
· 이상하면 알아챕니다
· 물어봅니다
· 맥락으로 보정합니다 ★
3. AI 는 못 메운다
"육각볼트 재고가 얼마야?"
AI 는 코드 셋을 세 물건으로 봅니다. ★
→ "PRD-A-001 은 0개입니다"
틀리지 않았습니다.
물어본 것에 답한 게 아닐 뿐입니다. ★
그리고 —
"재고가 0개네요. 발주하시겠습니까?" ★
이렇게 행동까지 제안합니다.
4. ★ 왜 더 위험한가
사람이 틀리면 AI 가 틀리면
──────────────────────────────────────────────
한 건 전부 ★
느리게 빠르게
의심이 남는다 확신을 준다 ★
"확인해 볼게요" 완성된 문장으로 답한다
그리고 규모가 다릅니다.
사람이 하루 40건 판단하던 것을
Agent 가 3,000건 합니다.
틀린 전제로 3,000건을 갑니다. ★
5. 어떻게 틀리나 — 네 모양
① 나뉜 것을 나뉜 채로 본다
중복 코드 → 수요가 셋으로 나뉘어 작아 보임 ★
→ "이 품목은 수요가 적으니 단종하죠"
② 미분류를 그대로 답한다
"품목군별 매출 알려 줘"
→ 미분류 23% 를 하나의 군으로 답합니다 ★
③ 과거를 지금 기준으로 본다
없어진 부서에 작년 비용을 붙여 답합니다. ★
④ 단위를 섞어 더한다
340 + 12 = 352
(340개 + 12박스) ★
④가 가장 조용합니다. 숫자가 나오고 아무 경고도 없습니다.
6. 그래서 기준정보의 값이 달라졌다
예전 지금
──────────────────────────────────────────────
"정리하면 좋은 것" "안 하면 AI 가 거짓말한다" ★
늘 뒤로 밀림 AI 도입의 전제 조건
성과가 안 보임 AI 성과가 안 나오는 원인 ★
경영진에게 설명할 때
"기준정보를 정리해야 합니다"
→ 예전에는 안 통했습니다
"정리 안 하면 AI 가 틀린 답을 자신 있게 합니다"
→ 지금은 통합니다 ★
7. RAG 도 안 구해 준다
"문서를 다 넣고 검색해서 답하게 하면 되지 않나요?"
RAG 는 문서를 찾아 줍니다.
데이터의 정합성을 고쳐 주지 않습니다. ★
예
질문 "○○산업과 총 거래액이 얼마야?"
RAG C-1001 자료와 V-2030 자료를 각각 찾아 옵니다
답변 두 숫자를 나열하거나 하나만 답합니다 ★
둘이 같은 회사라는 것을 모르니까요.
그 사실은 문서에 없습니다. 기준정보에 있어야 합니다. ③ 온톨로지 과정이 이 자리를 받습니다.
8. 어디까지 정리하면 AI 를 쓸 수 있나
완벽할 필요는 없습니다.
다만 어디가 부정확한지 알아야 합니다. ★
최소 조건 셋
① 중복이 얼마나 되는지 안다 ★
② 미분류가 몇 %인지 안다
③ 단위가 통일되어 있거나 환산이 있다 ★
①②를 알면
AI 에게 물을 때 범위를 좁힐 수 있습니다.
"미분류 제외하고" · "중복 정리된 품목군만" ★
모르는 것을 아는 것이 정리의 절반입니다.
9. 오늘 해 볼 것 (15분)
① 우리 데이터로 AI 가 틀릴 시나리오를 적으세요
질문 왜 틀릴까
───────────────────────────────────────
____________________ ____________________ ★
____________________ ____________________
② 최소 조건 셋을 점검하세요
□ 중복 비율을 아나 약 ___% ★
□ 미분류 비율을 아나 약 ___%
□ 단위가 통일돼 있나 예 / 아니오 ★
③ 모르면 — 세어 보세요
이번 주 안에 세 숫자만 뽑으면
내일 피해액 계산의 재료가 됩니다. ★
10. 내일 할 것
이번 주를 마무리합니다.
우리 회사 피해액을 계산합니다. 기준정보 정리는 6개월~2년 걸립니다. 왜 해야 하는지를 숫자로 못 대면 중간에 멈춥니다.
이 글은 기준정보 따라가기 과정의 2주차 4일차입니다. 과정 전체 보기
진도와 검색이 되는 판: AXPulse 기술따라가기
댓글
댓글 쓰기