[MCP] 6주차 Day 4 — 느린 도구와 한도
주차 주제: 운영 | 제조 사례: 도구 하나가 화면을 죽인 날
오늘의 목표: 도구의 시간과 한도를 관리하고, 느릴 때 무엇을 할지 정한다.
소요 시간: 30분
1. 한 문장으로
도구가 느리면
전체가 그만큼 느려집니다. ★그리고 여러 번 부르면 곱해집니다. ★2. 얼마나 되나
도구 호출 3.2회 × 평균 1.4초 = 4.5초 ★
+ 모델 시간 ★모델 고르기 8주차의 3초 경계를 이미 ★
넘습니다.그래서· 도구 시간을 재세요 ★
· 그리고 상한을 두세요 ★3. ★ 상한을 두는 법
□ 도구마다 제한 시간 ★
넘으면 끊고 오류로 ★
□ 그때 재시도: true ★
□ 그리고 부분 결과라도 주세요 ★세 번째가 좋습니다. { "결과": [...12건], ★
"완료": false, ★
"안내": "시간이 걸려 12건까지만
가져왔습니다. 범위를 좁히세요." } ★「완료: false」 를 꼭 넣으세요. ★없으면 12건이 전부인 줄 압니다. ★4. 느린 도구를 빠르게
① 건수 상한을 낮추세요 ★
② 속성을 줄이세요 ★
③ 인덱스를 거세요 (원천 쪽) ★
④ 미리 계산해 두세요 ★
⑤ 캐시하세요 ★④가 가장 큽니다. ★데이터 과정 8주차 Day 2 의
「미리 계산해 두기」 와 같습니다. ★· 집계를 물을 때 계산하지 말고 ★
· 밤에 미리 해 두세요 ★5. ⑤ 캐시 — 조심할 것
· 마스터는 캐시해도 됩니다 ★
(몇 분~몇 시간)
· 실적·재고는 안 됩니다 ★
지금 값이어야 합니다 ★캐시하면 기준시각을 꼭 주세요. ★ "재고 120개 (14:20 기준)" ★안 주면 옛날 값으로 결정합니다. ★6. 한도 — 원천 쪽
도구 뒤의 시스템에도 한도가 있습니다. ★□ 초당 요청 수 ★
□ 동시 연결 ★
□ 일일 호출 ★그리고 AI 가 사람보다 빨리 부릅니다. ★그래서□ 도구 쪽에 큐를 두세요 ★
□ 동시 수 상한 ★
□ 넘으면 기다리게 (오류 말고) ★모델 고르기 8주차 Day 4 와 같습니다. ★7. ★ 배치와 화면을 나누세요
· Agent 가 밤에 대량으로 부릅니다 ★
· 그동안 화면이 멈춥니다 ★그리고 오류가 안 납니다. 느려질 뿐. ★그래서□ 화면 요청과 배치 요청을 나누세요 ★
□ 화면에 우선권 ★
□ 배치는 동시 수를 낮게 ★배치는 느려도 됩니다. ★창 안에만 끝나면 됩니다. ★8. 제조 현장의 실제
어느 업체, 월말에 화면이 멈췄습니다.· 오류는 없었습니다 ★
· 그냥 느렸습니다 (P90 22초)
· "서버가 느리다" 고 결론 냈습니다 ★실제로는· 월말 집계 Agent 가 대량으로 부름 ★
· ERP 쪽 동시 연결을 다 씀 ★
· 화면 요청이 같은 줄에 섬 ★고친 것① 배치와 화면을 다른 경로로 ★
② 배치 동시 수 4 로 ★
③ 집계는 밤에 미리 계산 ★
④ 화면은 미리 계산된 것을 조회 ★결과 평소 P90 1.4초 ★
월말 P90 22초 → 1.6초 ★
배치 소요 2시간 → 5시간 (밤이라 무관) ★③④가 컸습니다. ★· 집계 도구가 4초 → 0.2초 ★
· 계산이 아니라 조회가 됐으니까요 ★9. 시간을 재세요
도구 P50 P90 최대 호출/대화 ★
──────────────────────────────────────────
________ ___초 ___초 ___초 ___ ★
________ ___초 ___초 ___초 ___그리고 최대를 보세요. ★· 평균 1초인데 최대 40초면 ★
· 그 한 번이 대화를 망칩니다 ★컨텍스트 5주차 Day 1 과 같습니다. ★10. 오늘 해 볼 것 (15분)
① 도구 시간을 재세요
도구 P90 최대 ★
________ ___초 ___초
________ ___초 ___초 ★
→ 3초 넘는 것 ___개 ★② 제한 시간이 있나
□ 도구마다 제한 시간 □ 부분 결과 ★
□ 「완료: false」 표시 ★③ 배치와 화면이 나뉘나
□ 경로가 같나 □ 동시 수 상한이 있나 ★
□ 미리 계산할 수 있는 집계가 있나 ★11. 내일 할 것
과정을 마무리합니다.
★ 도구 위에 무엇이 서는가. 6주를 정리하고 다음으로 잇습니다.
이 글은 MCP 과정의 6주차 4일차입니다. 과정 전체 보기
진도와 검색이 되는 판: AXPulse 기술따라가기
댓글
댓글 쓰기