[온톨로지 적용하기] 11주차 Day 3 — 온톨로지가 RAG 를 좋게 만드는 방식
주차 주제: LLM 에게 회사 말 가르치기 | 제조 사례: 검색 적중률이 두 배가 된 자리
오늘의 목표: 동의어·모호어·관계가 검색을 어떻게 바꾸는지 안다.
소요 시간: 30분
1. RAG 가 실패하는 이유
· 질문의 말과 문서의 말이 다릅니다 ★
· 관련 문서를 빠뜨립니다 ★
· 엉뚱한 걸 가져옵니다 ★
· 여러 개 필요한데 하나만 가져옵니다 ★넷 다 온톨로지가 고칩니다. ★2. ★ ① 동의어로 질문을 넓힌다
질문 "원자재 재고가 얼마야" ★동의어 없으면
"원자재" 로만 검색합니다.
ERP 문서는 "자재" 라서 안 나옵니다. ★동의어 있으면
질문을 확장합니다 ★
원자재 → 자재 · material · 투입자재 ★
→ 넷 다 검색합니다 ★5주차의 동의어 표가
검색 확장 사전이 됩니다. ★3. ② 모호어로 먼저 되묻는다
질문 "오늘 작업 몇 건이야" ★모호어 없으면
검색합니다 → 아무거나 나옵니다 ★
→ 답합니다 ★모호어 있으면
검색 전에 되묻습니다 ★
"생산작업·검사작업·보전작업 중
어느 것입니까?" ★검색을 안 하는 것이 개선입니다. ★4. ★ ③ 관계로 딸려 온다
가장 큰 개선입니다.질문 "지난달 불량률" ★관계 없으면
「불량」 문서만 가져옵니다. ★
→ 분모를 모릅니다
→ 「생산실적」 을 안 가져옵니다 ★관계 있으면
「불량」 을 찾고
→ 관계를 타고 「생산실적」 도 가져옵니다 ★
→ 「작업장」 도 (필터에 쓰이므로) ★이걸 그래프 확장이라고 부릅니다. ★1~2홉만 확장해도 적중률이 크게 오릅니다. ★5. ④ 개념 이름 목록으로 방향을 준다
어제 본 요령.항상 프롬프트에
"우리 회사 개념: 품목 · 수주 · 수주품목 · ★
생산오더 · 생산실적 · 불량 · 재작업 · ★
검사 · 작업장 · 설비 · 로트 · ..." ★그러면 LLM 이
· 무엇이 있는지 압니다 ★
· 질문을 개념으로 번역합니다 ★
"빠꾸가 몇 건" → 「검사반송」 ★
· 그 이름으로 정확히 검색합니다 ★6. 문서를 쪼갤 때도 개념으로
RAG 의 청크 나누기.흔한 방법 — 글자 수로 자릅니다. ★ 500자마다 싹둑 ★
→ 문장 중간에서 잘립니다
→ 뜻이 깨집니다 ★개념 기준으로 자르면
개념 하나가 청크 하나 ★
→ 뜻이 온전합니다
→ 메타데이터로 개념명을 붙입니다 ★그러면 검색 결과가
"어느 개념에 대한 것인지" 가 붙어 옵니다. ★7. 제조 현장의 실제
어느 업체, RAG 를 두 번 만들었습니다.1차 — 온톨로지 없이· 문서 5,600건 · 글자 수로 청크 ★
· 질문 100개 시험
관련 문서를 가져옴 52개 ★
정확한 답 41개 ★2차 — 온톨로지를 얹고· 동의어로 질문 확장 ★
· 모호어면 되묻기 ★
· 관계로 1홉 확장 ★
· 개념 이름 목록을 항상 넣기 ★ 관련 문서를 가져옴 89개 ★
정확한 답 78개 ★
되물음 9개 ★41 → 78. ★문서는 그대로였습니다. ★
바뀐 것은 찾는 방법뿐입니다. ★8. 어느 것이 얼마나 기여했나
그 회사가 하나씩 켜 보며 잰 것 기본 41 ★
+ 개념 이름 목록 54 (+13) ★
+ 동의어 확장 66 (+12) ★
+ 관계 1홉 확장 75 (+9) ★
+ 모호어 되묻기 78 (+3) ★「개념 이름 목록」 이 가장 컸습니다. ★그리고 그건
200자짜리 한 줄입니다. ★9. 순서를 기억하세요
① 개념 이름 목록을 넣습니다 ★
가장 싸고 효과가 큽니다
② 동의어로 질문을 넓힙니다 ★
③ 관계로 1~2홉 확장합니다 ★
④ 모호어면 되묻습니다 ★
⑤ 그 다음에 검색 튜닝을 고민하세요 ★대부분은 ⑤ 부터 합니다. ★
(임베딩 모델 바꾸기 · 리랭커 붙이기)①~④ 가 훨씬 싸고 효과가 큽니다. ★10. 오늘 해 볼 것 (15분)
① 개념 이름 목록을 만드세요
한 줄로. 200자 안에. ★
____________________________________ ★② 검색을 시험하세요
현장 말로 질문해 보세요.
질문 "________ 이 몇 건이야" (현장 말) ★
결과 나옴 / 안 나옴 ★
→ 안 나오면 동의어가 필요한 것입니다 ★③ 딸려 와야 할 것을 적으세요
질문 ____________
주 개념 ________
같이 필요한 개념 ________ · ________ ★
→ 관계로 이어져 있나 ○/✗ ★11. 내일 할 것
틀린 답을 잡아내는 자리.
정확도를 올리는 것만큼 틀린 것을 알아채는 장치가 필요합니다.
이 글은 온톨로지 적용하기 과정의 11주차 3일차입니다. 과정 전체 보기
진도와 검색이 되는 판: AXPulse 기술따라가기
댓글
댓글 쓰기