[데이터가 저절로 쌓이게 하기] 4주차 Day 2 — ★ 사람·설비·시스템·Agent 를 구분한다
주차 주제: 누가 했는가 · 바뀐 것을 남긴다 | 제조 사례: Agent 를 넣고 못 재던 회사
오늘의 목표: 행위자를 네 종류로 나누고, 왜 지금 필요한지 안다.
소요 시간: 30분
1. 한 문장으로
「누가」 는 사람만이 아닙니다. ★2. 네 종류
① 사람 사번·이름 ★
② 설비 설비 ID (자동 기록) ★
③ 시스템 배치·연계·규칙 ★
④ Agent AI 가 한 것 ★지금은 대개 ①과 「SYSTEM」 둘뿐입니다. ★그리고 ②③④ 가 전부 SYSTEM 으로 ★
뭉쳐 있습니다.3. 왜 나눠야 하나
① 정확도를 따로 재야 합니다 ★
Agent 가 판정한 것과 사람이 판정한 것
② 되돌릴 범위를 정해야 합니다 ★
"Agent 가 어제 한 것만 되돌려" ★
③ 책임이 다릅니다 ★
감사·인증에서 묻습니다
④ 고칠 자리가 다릅니다 ★
사람이면 교육, Agent 면 프롬프트 ★①이 지금 당장 필요합니다. ★4. ★ ① Agent 정확도를 못 재면
Agent 를 붙였습니다.그런데 기록이 「SYSTEM」 이면 · 몇 건을 했는지 모릅니다 ★
· 정확도를 모릅니다
· 사람과 비교를 못 합니다 ★
· 늘려도 되는지 모릅니다 ★그러면
· 무섭습니다 ★
· 그래서 안 늘립니다 ★
· 시범으로 끝납니다 ★반대로 나눠 두면 "Agent 판정 정확도 96%,
사람 92%. 범위를 넓힙시다" ★숫자가 확대의 근거가 됩니다. ★5. 남길 것 — 종류마다
① 사람
사번 · (이름은 조회) ★
② 설비
설비 ID · 센서 ID ★
③ 시스템
어느 배치·어느 규칙인지 ★
"SYSTEM" 만으로는 부족합니다 ★
④ Agent
Agent 이름 · 모델·버전 · 근거 ★③④ 를 자세히 남기세요. ★· ③ 은 "야간마감배치 v3" 처럼 ★
· ④ 는 "검사판정Agent" + 모델 버전 ★6. ④ Agent 에 남길 넷
□ Agent 이름 ★
무슨 일을 하는 Agent 인가
□ 모델·버전 ★
모델이 바뀌면 결과가 바뀝니다
(모델 고르기 9주차 Day 4) ★
□ 근거 ★
무엇을 보고 그렇게 했나
□ 확신도 ★
낮으면 사람에게 (⑤ 자율운영 과정) ★「모델·버전」 을 빠뜨리기 쉽습니다. ★그런데 이게 없으면
"어느 날부터 이상해졌다" 를
원인에 못 잇습니다. ★7. 사람이 확인한 것도 남기세요
Agent 가 초안을 내고 사람이 확인하면 둘 다 남겨야 합니다. ★ 작성 검사판정Agent (모델 v2, 확신도 0.91) ★
확인 김○○ · 09-12 14:22 · 수정 없음 ★그러면 볼 수 있는 것 · 사람이 고친 비율 ★
· 어떤 경우에 고치나
· 확신도와 고침의 관계 ★마지막이 중요합니다. ★확신도 0.9 이상인데 사람이 자주 고치면
확신도가 못 믿을 값입니다. ★8. 제조 현장의 실제
어느 업체, 검사 판정에 Agent 를 넣었습니다.6개월 뒤 — "잘 되나요?" ★답을 못 했습니다. ★· 판정자가 전부 "MES" 였습니다 ★
· Agent 가 한 것과 사람이 한 것이 안 갈렸습니다 ★
· 정확도를 못 쟀습니다 ★나눈 뒤 (석 달) 구분 건수 정확도 고침률 ★
───────────────────────────────────────
Agent 단독 4,200 — — ★
Agent + 확인 3,100 96.2% 3.8% ★
사람 단독 1,900 92.4% — ★읽은 것· Agent 가 사람보다 정확했습니다 ★
· 고침률 3.8% 는 대부분 확신도 0.7 아래 ★
· 확신도 0.85 이상에서 고침률 0.9% ★그래서 확신도 0.85 이상은 확인 없이 ★
그 아래만 사람에게 ★ 사람 확인 3,100건 → 620건 ★그리고 이 판단이
구분해 남겼기 때문에 가능했습니다. ★9. ★ 이게 ⑤ 자율운영으로 가는 길입니다
Agent 에게 범위를 넓히려면 ① 구분해서 남기고 ★
② 정확도를 재고
③ 확신도 구간별로 봅니다 ★
④ 믿을 만한 구간을 자동으로 넘깁니다 ★①이 없으면 ②③④ 가 안 됩니다. ★그래서 지금 구분해 두세요. ★Agent 를 아직 안 붙였어도
자리를 만들어 두세요. ★10. 오늘 해 볼 것 (15분)
① 지금 몇 종류인가
행위자 값의 종류 ___가지 ★
「SYSTEM」 같은 뭉뚱그린 값 ___% ★② 나눌 수 있나 보세요
□ 사람 □ 설비 □ 시스템(어느 배치) ★
□ Agent(이름·모델·버전) ★③ Agent 자리를 만드세요
지금 Agent 가 없어도
□ 행위자 종류 칸 ★
□ 모델·버전 칸 ★
□ 근거 칸 □ 확신도 칸 ★11. 내일 할 것
현재 값만 있으면 알 수 없는 것.
상태는 이력으로 남겼습니다. 그런데 값은 아직 덮어쓰고 있습니다.
이 글은 데이터가 저절로 쌓이게 하기 과정의 4주차 2일차입니다. 과정 전체 보기
진도와 검색이 되는 판: AXPulse 기술따라가기
댓글
댓글 쓰기