[온톨로지 적용하기] 11주차 Day 1 — 프롬프트에 넣기 · 검색으로 주기 · 학습시키기

주차 주제: LLM 에게 회사 말 가르치기 | 제조 사례: 세 가지를 다 해 본 회사

오늘의 목표: 세 방식이 각각 무엇이고 비용·효과가 어떻게 다른지 안다.

소요 시간: 30분

---

1. 세 가지 방식

㉮ 프롬프트에 넣기                          ★
   매 요청마다 같이 보냅니다

㉯ 검색으로 주기 (RAG)                     ★
   질문에 맞는 것만 찾아서 보냅니다

㉰ 학습시키기 (파인튜닝)                    ★
   모델 자체에 넣습니다

---

2. ㉮ 프롬프트에 넣기

어떻게

  시스템 프롬프트에 개념 문서를 붙입니다.     ★

장점

  · 가장 간단합니다                          ★
  · 바로 반영됩니다 (고치면 즉시)            ★
  · 확실히 읽습니다                       ★

한계

  · 길이 제한                                ★
  · 길수록 느리고 비쌉니다                ★
  · 긴 프롬프트에서 중간이 묻힙니다       ★

---

3. 얼마나 들어가나

온톨로지 문서의 크기 감

  개념 20개 × 300자        6,000자         ★
  속성 150개 × 80자       12,000자         ★
  관계 34개 × 100자        3,400자         ★
  모호어·지표·못함목록     5,000자         ★
  ─────────────────────────
  합계 약 27,000자                       ★

한글 기준 대략 2만 토큰 안팎.             ★

요즘 모델에는 들어갑니다.                ★

그래서

  개념 20~30개 규모면 ㉮ 로 충분합니다.   ★

---

4. ★ 이게 중요한 결론

"RAG 를 해야 하지 않나요"

개념이 20~30개면 안 해도 됩니다.         ★

· 전부 넣어도 2만 토큰                      ★
· 검색 실패가 없습니다                   ★
  (RAG 의 가장 큰 실패 원인)               ★
· 구조가 단순합니다                         ★

개념이 100개를 넘어가면 그때 ㉯ 입니다.  ★

---

5. ㉯ 검색으로 주기 (RAG)

어떻게

  질문이 오면
  관련 개념·질의만 찾아서 프롬프트에 넣습니다.  ★

장점

  · 양이 무제한                             ★
  · 요청당 비용이 작습니다                  ★

한계

  · 검색이 실패하면 끝입니다              ★
  · 관련 개념을 빠뜨립니다                ★
    ("불량률" 을 물었는데
     「생산실적」 개념이 안 딸려 옴)         ★

Day 3 에서 이걸 다룹니다.
온톨로지가 이 문제를 풉니다.              ★

---

6. ㉰ 학습시키기 (파인튜닝)

어떻게

  회사 데이터로 모델을 추가 학습             ★

이 용도로는 대개 안 맞습니다.            ★

왜

  · 정의가 바뀌면 다시 학습해야 합니다    ★
  · 무엇을 배웠는지 확인이 안 됩니다      ★
  · 틀린 걸 배우면 못 고칩니다            ★
  · 비용이 큽니다                           ★
  · 근거를 못 댑니다                      ★

마지막이 결정적입니다.

  "왜 그렇게 답했나" 를 물을 수 없습니다.   ★

---

7. ㉰ 가 맞는 경우

· 말투·형식을 고정할 때                  ★
   (보고서 형식 · 응답 스타일)
· 분류 작업을 잘하게 할 때                ★
   (문서 유형 · 클레임 분류)
· 특수한 도메인 언어가 있을 때            ★

공통점

  자주 안 바뀌는 것들입니다.              ★

개념 정의는 자주 바뀝니다.               ★
그래서 ㉰ 가 아닙니다.

---

8. 제조 현장의 실제

어느 업체, 셋 다 해 봤습니다.

㉰ 파인튜닝 — 먼저 했습니다                 ★

· 사내 문서 4만 건으로 학습                 ★
· 3주 · 비용 상당                           ★
· 결과 — "말투는 비슷한데 내용이 틀림"  ★
· 그리고 정의를 고쳐도 안 바뀜          ★

㉯ RAG — 다음에 했습니다                    ★

· 문서 전부를 벡터DB 에                     ★
· 결과 — 검색이 자주 빗나감                 ★
    "불량률" → 품질 매뉴얼이 딸려 옴        ★
    정작 개념 정의는 안 옴                  ★

㉮ 프롬프트 — 마지막에 했습니다             ★

· 개념 19개 + 지표 12개 + 못함 21건         ★
· 약 2.4만 토큰                           ★
· 결과 — 가장 정확했습니다               ★

그리고 고치면 즉시 반영됐습니다.        ★

---

9. 실제로는 섞어 씁니다

가장 흔한 조합

  ㉮ 온톨로지는 프롬프트에                 ★
     (항상 필요하고, 양이 작고, 자주 바뀜)

  ㉯ 문서·매뉴얼은 검색으로                ★
     (양이 크고, 질문마다 다름)

  ㉰ 안 씁니다 (또는 말투용만)             ★

그리고 온톨로지가
㉯ 의 검색을 좋게 만듭니다. (Day 3)        ★

---

10. 오늘 해 볼 것 (15분)

① 우리 온톨로지 크기를 재세요

  개념 ___개 × ___자
  속성 ___개 × ___자                         ★
  관계 ___개 · 지표 ___개
  ─────────────
  합계 약 ___만 자 → 약 ___만 토큰           ★

② 판정하세요

  □ 3만 토큰 이하  → ㉮ 프롬프트             ★
  □ 그 이상        → ㉮ + ㉯                 ★
  □ ㉰ 는 말투·분류용만                      ★

③ 지금 방식을 확인하세요

  □ 지금 무엇을 쓰나  ㉮/㉯/㉰               ★
  □ 온톨로지가 들어가 있나  ○/✗          ★

---

11. 내일 할 것

셋 중 무엇을 언제 쓰나.

오늘의 판정을 자료 종류별로 더 자세히 나눕니다.

---

이 글은 온톨로지 적용하기 과정의 11주차 1일차입니다. 과정 전체 보기

진도와 검색이 되는 판: AXPulse 기술따라가기