[데이터가 저절로 쌓이게 하기] 6주차 Day 4 — 분석·학습에 쓸 수 있는 데이터의 조건
주차 주제: 결측과 추적성 | 제조 사례: 3년치를 모으고 못 쓴 회사
오늘의 목표: 쓸 수 있는지 점검표로 판정하고, 못 쓰는 이유를 고칠 일로 바꾼다.
소요 시간: 30분
1. 한 문장으로
양이 많다고 쓸 수 있는 게 아닙니다. ★2. ★ 조건 여덟
① 이어져 있나 (1주차 Day 4) ★
② 시각이 정확한가 (3주차 Day 3) ★
③ 채움률이 되나 (2주차 Day 2) ★
④ 빠진 게 무작위인가 ★
⑤ 0 과 없음이 갈리나 (Day 2) ★
⑥ 단위가 일정한가 ★
⑦ 정의가 일정한가 (온톨로지 6주차) ★
⑧ 실패 사례가 있나 ★⑧이 자주 빠집니다. ★3. ⑧ 실패 사례가 없으면
· 불량이 1% 면 ★
· 데이터의 99% 가 정상입니다
· 모델이 "전부 정상" 이라고 해도 ★
정확도 99% 입니다 ★그리고 그건 쓸모없습니다. ★필요한 것
· 불량 사례가 충분히 있어야 합니다 ★
· 그리고 유형별로 있어야 합니다 ★그래서 「기타」 44% 가 문제였습니다. ★
(1주차 Day 3)4. ⑦ 정의가 일정한가
3년치가 있어도
중간에 정의가 바뀌었으면 못 씁니다. ★· 불량 판정 기준이 바뀌었습니다 ★
· 「완료」 의 시점이 바뀌었습니다
· 분류 체계가 바뀌었습니다 ★
· 단위가 바뀌었습니다 ★그러면 · 앞뒤가 다른 데이터입니다 ★
· 이어 붙이면 가짜 추세가 나옵니다 ★확인법
연도별로 분포를 그려 보세요. ★
갑자기 꺾이는 해가 있으면 정의가 바뀐 것. ★5. 바뀐 시점을 적어 두세요
정의 변경 이력 ★
──────────────────────────────────
2024-07 불량 판정 기준 변경 (공차 ±0.1→0.05) ★
2025-01 분류 체계 개편 ★
2025-09 단위 변경 (박스→낱개) ★그리고 분석할 때 그 시점으로 자르세요. ★안 적어 두면
· 3년치라고 생각하고 씁니다 ★
· 실제로는 1년치 입니다 ★
· 그리고 모릅니다 ★6. 점검표
─────────────────────────────────────────────
용도 ____________ (예: 불량 예측) ★
□ ① 이어짐 ○/△/✗ ____________ ★
□ ② 시각 ○/△/✗ ____________
□ ③ 채움률 ___% ★
□ ④ 무작위 ○/✗ 치우침 ________ ★
□ ⑤ 0/없음 ○/✗
□ ⑥ 단위 ○/✗ ★
□ ⑦ 정의 일정 ○/✗ 바뀐 시점 ______ ★
□ ⑧ 실패 사례 ___건 유형 ___가지 ★
→ 쓸 수 있는 기간 ______ ~ ______ ★
→ 실제 건수 ___건 ★
─────────────────────────────────────────────마지막 두 칸이 진짜 답입니다. ★7. 제조 현장의 실제
어느 업체, 불량 예측을 하려 했습니다. "3년치 데이터가 있습니다" ★점검해 보니 ① 이어짐 △ 설비-실적 연결 2024-06 부터 ★
② 시각 △ 2025-01 부터 정확 ★
③ 채움률 71% ★
④ 무작위 ✗ 바쁜 날이 빠짐 ★
⑤ 0/없음 ✗ 섞여 있음 ★
⑥ 단위 ○
⑦ 정의 ✗ 2024-07 판정 기준 변경 ★
⑧ 실패 사례 1,240건 / 유형 「기타」 44% ★그래서 실제로 쓸 수 있는 것 기간 2025-01 ~ 현재 (3년 → 1년 반) ★
건수 3만 → 9,400건 ★
실패 1,240 → 410건 ★그리고 410건 중 유형이 갈린 것은 230건. ★이걸 알고 시작한 것과
모르고 시작한 것은 완전히 다릅니다. ★8. ★ 그래도 시작할 수 있습니다
"1년 반밖에 없네요" 가 아니라 ★ "1년 반이 쓸 만합니다. 시작합시다." ★그리고 · 못 쓰는 이유가 목록이 됐습니다 ★
· 각각 고칠 일이 있습니다
· 고치면 내년에는 2년 반입니다 ★점검의 값이 이것입니다. ★9. 못 쓰는 이유 → 할 일
이유 할 일 ★
────────────────────────────────────────
① 안 이어짐 번호 넘기기 (1주차) ★
② 시각 부정확 그 자리에서 누르기 (3주차) ★
③ 채움률 낮음 부산물로 (2주차) ★
④ 치우침 ③ 과 같음 ★
⑤ 0/없음 사유 컬럼 (Day 1) ★
⑥ 단위 기준정보 (② 과정) ★
⑦ 정의 온톨로지 (③ 과정) ★
⑧ 실패 사례 부족 「기타」 줄이기 (1주차) ★전부 이 과정에서 다룬 것입니다. ★10. 오늘 해 볼 것 (15분)
① 용도 하나를 고르세요
하려는 것 ____________________ ★② 여덟을 점검하세요
①___ ②___ ③___ ④___ ★
⑤___ ⑥___ ⑦___ ⑧___③ 쓸 수 있는 범위를 적으세요
기간 ______ ~ ______ ★
건수 ___건 ★
실패 사례 ___건 ★11. 내일 할 것
과정을 마무리합니다.
★ 다음은 무인 Operation. 데이터가 쌓이면 그다음에 무엇이 되는지.
이 글은 데이터가 저절로 쌓이게 하기 과정의 6주차 4일차입니다. 과정 전체 보기
진도와 검색이 되는 판: AXPulse 기술따라가기
댓글
댓글 쓰기