AI 스킬 자동 호출, 언제 켜고 언제 꺼야 할까

AI 에이전트에 스킬을 잔뜩 만들어 두고, 정작 필요한 순간에 안 뜨는 경험 해보셨나요? 저는 반대 경험도 있어요. 엉뚱한 대화에서 스킬이 발동해 답이 이상해진 적도 있고요.

혼자 운영하면서 스킬을 하나씩 쌓다 보니, 문제는 스킬 개수가 아니라 트리거 설계였어요. 스킬이 뜨는 방식은 딱 2가지예요.

트리거는 2가지뿐이에요

model-invoked는 모델이 스킬 설명(description)을 읽고 스스로 판단해 호출하는 방식이에요. 편하지만 호출 시점을 예측하기 어려워요.

user-invoked는 사람이 명령어로 직접 부르는 방식이에요. 인지 부하가 사람에게 넘어오지만, 대신 확실해요.

model-invoked(모델 판단·설명 세금 있음) vs user-invoked(사람 직접 호출·세금 없음)

description 세금이라는 비용

여기서 중요한 게 하나 있어요. 자동 호출 스킬의 설명은 매 대화의 컨텍스트에 미리 들어가요. 스킬이 20개면 설명 20줄이 쓰든 안 쓰든 매번 로드되는 거예요.

직접 만들어 보니 이 세금이 생각보다 커요. 안 쓰는 스킬의 설명까지 모델이 매번 읽으니 컨텍스트가 낭비되고, 비슷한 설명이 많을수록 엉뚱한 스킬을 고를 확률도 올라가요.

제가 쓰는 기준 3가지

여러 방식으로 돌려 보니 기준이 이렇게 정리됐어요.

1. 트리거 상황이 명확하고 자주 쓰는 라우터성 스킬만 자동 호출로. 설명은 한 줄로 짧게.
2. 절차가 길거나 위험한 작업(배포, 삭제류)은 수동 전용으로. 자동으로 뜨면 오히려 사고예요.
3. 30일 동안 한 번도 안 쓰인 스킬은 정리. 설명 세금만 내는 죽은 스킬이에요.

• ✓명확한 트리거만 자동
• ✓위험 작업은 수동
• ✓30일 미사용은 정리

실제로 적용해 봤더니 자동 스킬을 절반 이하로 줄였는데, 오히려 필요한 스킬이 더 잘 떠요. 농구 동호회 운영 매니저인 플랜비(plan-b)를 개발할 때도 반복 작업만 자동 스킬로 묶고, 배포 절차는 수동 호출로 남겨뒀어요.

테스트해 보면 금방 느껴져요. 스킬을 하나 만들 때마다 "이게 자동으로 떠야 하나?"를 먼저 물어보세요. 스킬은 많을수록 좋은 게 아니라, 뜰 때 떠야 좋은 거예요.