LLM 분류기에 unknown 레인이 없으면 오분류가 조용히 통과해요

블로그 자동 발행 파이프라인에서 제일 먼저 도는 단계가 분류예요. 오늘 쓸 키워드를 받아서 ai·backend·brand·devlog·frontend·product 중 어디에 넣을지 LLM이 정해요. 카테고리가 정해져야 그다음 작성 프롬프트가 붙거든요.

처음 만든 분류 프롬프트는 딱 이 6개 중 하나만 고르게 했어요. 그게 문제였어요.

선택지가 6개뿐이면 7번째 입력도 6개 중 하나가 돼요

직접 만들어 보니 LLM은 시키는 대로 골라요. 라이프케어로그와 아무 상관없는 키워드가 들어와도 "그나마 가까운" 카테고리를 자신 있게 찍어요. 어느 날은 주식 관련 키워드가 product로 분류됐고, 작성 단계에서는 규칙대로 플랜씨(plan-c) 금융계산기 소개가 붙었어요. 로그는 전부 success였고요.

틀린 글이 나온 것보다, 틀렸다는 신호가 어디에도 없었다는 게 더 무서웠어요. 1인 브랜드에서 검수는 저 혼자인데, 저는 대시보드만 보고 있었으니까요.

unknown 레인 하나 추가하기

고친 건 두 줄이에요. 선택지에 unknown을 더하고, 확신이 안 서면 unknown을 고르라고 적었어요.

카테고리: ai / backend / brand / devlog / frontend / product / unknown
위 6개 중 어디에도 분명히 속하지 않으면 unknown을 고르세요.

그리고 unknown이 나오면 발행 큐가 아니라 검토 폴더로 보내요. 작성 단계 자체를 안 태워요. 적용해 봤더니 분류는 6개 카테고리에 레인 1개가 더해져 7개 레인이 됐고, 검토 폴더에 파일이 쌓이기 시작했어요. 그 파일들이 전부 예전 같으면 어딘가로 조용히 들어갔을 입력이었어요.

주 1회, 10분 정도 그 폴더를 열어 봐요. 진짜 브랜드 소재면 카테고리를 직접 정해서 다시 넣고, 아니면 지워요.

콘텐츠 운영에서 unknown 비율은 지표예요

돌려 보니 unknown 비율이 그 자체로 신호였어요. 0%에 가까우면 모델이 여전히 억지로 찍고 있는 거라 프롬프트를 의심하고, 30%를 넘으면 키워드 수집 단계가 흐트러진 거라 소재 목록부터 다시 봐요.

같은 구조를 다른 데도 붙였어요. 플랜엘(plan-l)로 들어오는 문의를 법령 질문과 기능 질문으로 나눠 정리할 때도 '기타' 대신 unknown 레인을 따로 뒀어요. 기타는 처리했다는 뜻으로 읽히고, unknown은 사람이 봐야 한다는 뜻이거든요. 이름 하나 차이인데 운영에선 완전히 달라요.

테스트는 정답보다 오답으로

테스트해 보면 잘 분류되는 케이스는 늘 통과해요. 확인해야 하는 건 반대쪽이에요. 브랜드와 무관한 키워드 5개를 일부러 넣고 전부 unknown으로 빠지는지 봐요. 하나라도 product나 brand로 새면 프롬프트를 다시 고쳐요.

브랜드 이름을 달고 나가는 글은 전부 브랜드의 말이에요. 자동화가 자신 없는 입력 앞에서 스스로 멈추고 저한테 넘기게 만드는 것, 그게 검수 인력 없이 톤을 지키는 가장 싼 방법이었어요.