LLM 라우팅에 unknown 레인이 없으면 입력이 새어나가요

LLM에게 "이 입력을 A·B·C 중 하나로 분류해줘"라고 시켜 본 적 있나요? 평소엔 잘 동작해요. 문제는 A도 B도 C도 아닌 입력이 들어왔을 때예요. 이때 모델은 "모르겠다"고 하지 않고, 가장 비슷해 보이는 칸에 억지로 밀어넣어요. 그 오분류는 아무 에러도 남기지 않고요.

조용히 새는 게 왜 위험할까요

자동화 파이프라인에서 제일 무서운 실패는 빨간불이 아니라 초록불이에요. 상태값은 success인데 실제로는 엉뚱한 곳으로 흘러간 경우요. 직접 라우터를 만들어 보니, 매칭 안 된 입력을 그냥 버리거나(silent drop) 옆 칸에 넣어버리면 며칠 뒤에야 "왜 이게 여기 있지?" 하고 발견하게 돼요.

unknown 레인 없음(조용히 오분류) vs 있음(격리 후 사람이 확인)

카테고리 하나를 더 만들어요: unknown

해결은 단순해요. 분류 항목에 unknown 레인을 명시적으로 하나 더 추가하는 거예요. 플랜씨(plan-c)의 금융계산기를 예로 들게요. 사용자 질문을 대출이자·연봉 실수령·복리·저축 4종 중 하나로 보내는 라우터가 있다고 해볼게요. 여기에 "어디에도 안 맞음" 레인을 더하면 분기가 5개가 돼요.

어디에도 안 맞는 입력은 버리지 않고 unknown으로 격리한 뒤 로그를 남겨요. 분류 → 격리 → 로그 확인, 이 3단계면 사람이 그 로그를 보고 "이런 질문도 들어오는구나" 하며 새 카테고리를 만들 수 있어요.

입력→분류(5개 분기)→unknown이면 격리+로그→사람이 확인

프롬프트에도 unknown을 넣어 두세요

프롬프트에 "반드시 A·B·C 중 하나로 답하라"라고 쓰면, 모델은 규칙대로 무조건 셋 중 하나를 골라요. 대신 "확실하지 않으면 unknown이라고 답하라"를 옵션에 넣어 봤더니, 애매한 입력에서 억지 분류가 눈에 띄게 줄었어요. 모델에게 보류할 여지를 준 거예요.

한 가지 더. unknown으로 빠진 걸 쌓아두기만 하면 소용없어요. 로그를 며칠 돌려 보니 예상 못 한 질문들이 unknown 레인에 모여 있었어요. 하루 한 번이라도 열어 보는 습관이 있어야 새는 지점이 보여요. 테스트해 보면 10분이면 충분해요.

정리하면

• 분류·라우팅에는 항상 unknown 레인을 하나 더 둬요
• 매칭 안 된 입력은 버리지 말고 격리하고 로그로 남겨요
• 프롬프트에 "모르면 보류" 옵션을 넣어요

작은 자동화일수록 조용한 실패가 오래 숨어요. unknown 레인 하나가 그 실패를 눈에 보이게 만들어 줘요.