[데이터가 저절로 쌓이게 하기] 6주차 Day 1 — 결측은 정상이다: 문제는 모르는 것
주차 주제: 결측과 추적성 | 제조 사례: 빈칸을 채우다 틀린 회사
오늘의 목표: 결측의 종류를 나누고, 왜 빈지를 남기는 법을 익힌다.
소요 시간: 30분
1. 한 문장으로
빈 것이 문제가 아니라
왜 빈지 모르는 것이 문제입니다. ★2. ★ 빈 것의 네 뜻
① 해당 없음 ★
그 항목이 필요 없는 건
② 아직 없음 ★
나중에 채워집니다
③ 모름 ★
확인이 안 됐습니다
④ 안 함 ★
해야 하는데 안 했습니다넷이 완전히 다릅니다. ★그런데 데이터에는 전부 빈칸입니다. ★3. 왜 갈라야 하나
뜻 집계에서 할 일 ★
────────────────────────────────────────
해당없음 분모에서 뺍니다 없음 ★
아직없음 진행 중으로 기다립니다 ★
모름 표시 확인합니다 ★
안 함 문제 독촉합니다 ★전부 빈칸이면
· 분모가 틀리고 ★
· 안 한 것이 안 보이고
· 모르는 것을 아는 척합니다 ★4. ★ ④ 안 함이 가장 중요합니다
2주차 Day 4 에서 본 것 —
안 한 일은 기록이 안 남습니다. ★그리고 빈칸으로만 있으면 "안 한 건가 필요 없는 건가" 를
구분할 수가 없습니다. ★그래서 2주차의 답이 여기서도 같습니다 해야 할 것을 미리 만들어 두세요. ★그러면
· 안 한 것은 열린 채로 남고 ★
· 필요 없는 것은 애초에 안 생기고 ★
· 빈칸이 아니라 상태가 됩니다 ★5. 값으로 구분하는 법
DB 에서 NULL 값이 없음 ★
'' (빈 문자) ← 쓰지 마세요 ★
'N/A' ← 문자열로 넣지 마세요 ★
0 ← 내일 Day 2 ★그리고 사유 컬럼을 두세요. ★ 값 NULL
사유 해당없음 / 미확인 / 미실시 ★컬럼 하나면 됩니다. ★6. 「모름」 을 인정하세요
사람은 빈칸을 못 견딥니다. ★그래서· 대충 채웁니다 ★
· 평균을 넣습니다
· 전 건을 복사합니다 ★
· 0 을 넣습니다 ★넷 다 없는 것보다 나쁩니다. ★왜
· 빈칸은 보입니다 ★
· 채운 값은 안 보입니다 ★온톨로지 과정 4주차 Day 4 의
「짐작은 안 보이고 빈칸은 보인다」 ★
와 같은 얘기입니다.7. 채움률을 지표로 두세요
항목 채움률 빈 이유 분포 ★
──────────────────────────────────────
________ ___% 해당없음 __%
미확인 __% ★
미실시 __% ★그리고 미실시 비율을 보세요. ★· 늘어나면 → 입력이 밀리고 있습니다 ★
(2주차로 돌아갑니다)
· 특정 라인·교대에 몰리면 → 그 자리 문제 ★8. 제조 현장의 실제
어느 업체, 검사 측정값의 빈칸을 채웠습니다. "빈칸은 규격 중앙값으로" ★이유 — 분석 도구가 빈칸을 싫어해서. ★그리고 그 데이터로 학습했습니다.결과· 모델이 "대부분 중앙값" 이라고 배웠습니다 ★
· 산포를 과소평가했습니다 ★
· 이상 탐지가 거의 안 됐습니다 ★확인해 보니 빈칸 비율 31% ★
그중
해당없음 8% (그 항목이 없는 품목) ★
미실시 19% (샘플링이라 안 잰 것) ★
미확인 4% ★19% 는 샘플링이었습니다. ★
전수 검사가 아니었습니다. ★고친 뒤· 사유 컬럼을 넣었습니다 ★
· 학습에는 실측만 썼습니다 ★
· 샘플링 비율을 따로 관리했습니다 ★ 이상 탐지 정확도 크게 올랐습니다. ★빈칸을 채운 것이 문제였습니다.
9. ★ 분석 도구가 싫어해도
"모델이 빈칸을 못 받아서요" ★그건 모델에 넣을 때 처리할 일입니다. ★
저장할 때 채우면 안 됩니다. ★저장 빈칸 + 사유 ★
↓
모델 입력 그때 정합니다 ★
· 빼거나
· 채우거나 (채웠다고 표시) ★
· 별도 특징으로 (빈지 여부) ★세 번째가 종종 가장 좋습니다. ★"이 항목이 비어 있다" 자체가
정보일 수 있습니다. ★10. 오늘 해 볼 것 (15분)
① 빈칸 비율을 세세요
항목 빈칸 비율 ★
________ ___%
________ ___% ★② 사유를 가를 수 있나
□ 사유 컬럼이 있나 ★
□ 없으면 구분이 안 됩니다 ★③ 채우고 있나 확인하세요
□ 기본값으로 채우나 ★
□ 평균·중앙값으로 채우나 ★
□ 전 건을 복사하나 ★
→ 하나라도 ○ 면 원본이 없습니다 ★11. 내일 할 것
★ 0 과 없음을 구분한다.
가장 조용하게 틀리는 자리입니다.
이 글은 데이터가 저절로 쌓이게 하기 과정의 6주차 1일차입니다. 과정 전체 보기
진도와 검색이 되는 판: AXPulse 기술따라가기
댓글
댓글 쓰기