[온톨로지 적용하기] 10주차 Day 2 — 물을 수 없는 것을 분명히 한다

주차 주제: 온톨로지 위에서 질문하기 | 제조 사례: "모릅니다" 를 배운 챗봇

오늘의 목표: 답할 수 없는 범위를 명시하고, AI 가 그것을 말하게 만든다.

소요 시간: 30분


1. 한 문장으로

AI 는 모른다고 안 합니다.
모른다고 말하게 만들어야 합니다.           ★

2. 왜 안 하나

LLM 은

  · 주어진 것으로 최선의 답을 만듭니다     ★
  · 없으면 일반 지식으로 채웁니다          ★
  · 그래도 없으면 그럴듯하게 만듭니다      ★
"모릅니다" 는

  가장 안 나오는 답입니다.                 ★

3. ★ 못 하는 것의 네 종류

① 데이터 없음     기록이 아예 없다        ★
② 연결 없음       개념은 있는데 안 이어짐  ★
③ 기간 제한       어느 시점 이후만 가능    ★
④ 정의 없음       계산 기준이 안 정해짐    ★
넷 다 다르게 답해야 합니다.               ★

4. 각각 어떻게 답해야 하나

① 데이터 없음

  "설비별 불량은 기록되지 않습니다.        ★
   작업장 단위까지는 가능합니다."            ★
② 연결 없음

  "클레임과 생산실적이 연결돼 있지 않아    ★
   제품별 클레임은 낼 수 없습니다."          ★
③ 기간 제한

  "2023-01 이후만 가능합니다.                ★
   그 이전은 설비 ID 가 없습니다."           ★
④ 정의 없음

  "「가동률」 의 계산 기준이 정해져 있지   ★
   않습니다. 분모를 달력시간으로 할지
   계획시간으로 할지 확인이 필요합니다."     ★
전부 대안이나 이유를 같이 줍니다.      ★

5. 「못 함 목록」 을 만드세요

─────────────────────────────────────────
  답할 수 없는 것

  질문 유형        이유        대안        ★
  ──────────────────────────────────────
  설비별 불량      기록 없음    작업장별    ★
  제품별 클레임    연결 없음    고객별      ★
  2022년 설비 분석  기간 제한    2023~      ★
  가동률           정의 없음    —          ★
─────────────────────────────────────────
이 표가 AI 에 들어갑니다. (11주차)        ★

6. 이 표가 없으면

AI 가 이렇게 답합니다
  Q "설비별 불량률 알려 줘"

  A "EQ-102 는 2.1%, EQ-105 는 1.8% 입니다"  ★
어디서 나왔나

  · 작업장을 설비로 해석했거나            ★
  · 검사 설비 컬럼을 썼거나               ★
  · 아예 지어냈습니다                     ★
셋 다 숫자가 나옵니다.                    ★

7. 제조 현장의 실제

어느 업체, 「못 함 목록」 을 넣기 전과 후.
전 — 질문 50개 시험
  정확한 답        31개                    ★
  틀린 답          14개                    ★
  모른다고 답      5개                       ★
14개의 틀린 답 중
  · 없는 데이터를 지어냄       6개          ★
  · 비슷한 걸 갖다 씀          5개          ★
  · 정의가 달라 다른 숫자      3개          ★
후 — 못 함 목록 21건을 넣고 다시
  정확한 답        32개                     ★
  틀린 답          3개                     ★
  모른다고 답      15개                    ★
정확한 답은 거의 안 늘었습니다.          ★
틀린 답이 14 → 3 이 됐습니다.               ★
그리고 현장 반응이 바뀌었습니다.
  전  "챗봇은 못 믿겠어요"                  ★
  후  "안 되는 건 안 된다고 하니까
      되는 건 믿어요"                       ★

믿을 수 있게 만든 것이 「모른다」 였습니다.


8. ★ 「모른다」 가 신뢰를 만든다

사람도 같습니다.
· 뭐든 다 아는 척하는 사람 → 안 믿습니다    ★
· "그건 제가 모릅니다" 하는 사람 → 믿습니다 ★
AI 도 똑같습니다.
그리고 실무적으로

  틀린 답 하나가
  맞은 답 열 개를 무효로 만듭니다.        ★

9. 못 함 목록이 할 일 목록이 된다

4주차 Day 4 의 [없음] 과 이어집니다.        ★
  못 하는 것          기록하면 가능         ★
  ────────────────────────────────────
  설비별 불량         실적에 설비 ID       ★
  제품별 클레임       클레임에 품목 연결    ★
  작업자별 품질       실적에 작업자         ★
그리고 각각

  · 비용 (화면 1개 수정)                    ★
  · 효과 (예지보전 근거)                    ★
이걸 적으면

  투자 근거가 됩니다.                     ★

10. 오늘 해 볼 것 (15분)

① 못 함 목록을 만드세요

  질문      이유(①②③④)   대안            ★
  ________  ______        ________
  ________  ______        ________         ★
  ________  ______        ________
② 지금 챗봇이 있으면 시험하세요

  못 하는 질문 3개를 물어 보세요.
  답 1  모른다 / 지어냄                   ★
  답 2  모른다 / 지어냄
  답 3  모른다 / 지어냄                      ★
③ 할 일로 바꾸세요

  못 하는 것  ____________
  기록하려면  ____________                   ★
  비용        ____________
  가능해지는 것  ____________                ★

11. 내일 할 것

SQL 을 짓게 하지 않는 이유.

"AI 한테 SQL 짜 달라고 하면 되지 않나" 에 답합니다.


이 글은 온톨로지 적용하기 과정의 10주차 2일차입니다. 과정 전체 보기

진도와 검색이 되는 판: AXPulse 기술따라가기

댓글

이 블로그의 인기 게시물

자재관리는 잘 쓰는데 BOM은 엑셀입니다

협력사 AI 로봇 도입, 공급망 스마트 제조 생태계 대응 전략

개발 테스트 자동화, AI 에이전트와 MCP 도입 전략