모델 바꿨다가 캐시가 전멸했어요 — 1인 브랜드의 프롬프트 캐싱 규율

혼자 브랜드를 운영하면서 콘텐츠를 AI로 뽑다 보면, 어느 순간 토큰 비용이 슬금슬금 오르는 걸 느껴요. 혹시 이런 적 없나요? 분명 같은 작업인데 며칠 사이 요금이 더 나온 것 같은 느낌이요.

이번에 저도 로그를 열어봤더니 원인이 프롬프트 캐싱에 있었어요.

캐시가 왜 브랜드 운영에 중요할까요

AI로 글을 쓸 때 매번 반복되는 앞부분이 있어요. 브랜드 말투 가이드, 금지어 목록, 출력 형식 같은 것들이요. 이 공통 앞부분(프리픽스)을 캐시에 올려두면, 다음 요청부터는 다시 읽는 비용이 확 줄어요.

숫자로 보면 차이가 커요. 캐시에서 읽는 비용은 새로 캐시에 쓰는 비용의 약 1/10 수준이에요. 하루에 6편씩 같은 스타일 가이드를 붙여 돌린다면, 이 앞부분을 얼마나 재사용하느냐가 곧 월 요금이 되는 셈이죠.

• ✓공통 앞부분 고정
• ✓변하는 값은 뒤로
• ✓세션 중간 교체 금지

세션 중간에 모델을 바꾸면 벌어지는 일

테스트 삼아 세션 도중에 가벼운 모델과 무거운 모델을 왔다 갔다 해봤더니, 캐시가 통째로 날아갔어요.

캐시는 "이 모델 + 이 프리픽스" 조합으로 저장돼요. 모델이 바뀌면 조합이 달라지니 이전 캐시는 못 쓰고 처음부터 다시 쌓아야 해요. 그래서 콘텐츠 배치를 도는 중간에 모델을 스왑하는 건, 브랜드 운영 입장에선 매번 요금을 다시 지불하는 것과 같아요.

같은 이유로 세션 중간에 스타일 가이드나 시스템 프롬프트를 고치는 것도 캐시를 무효화해요. 가이드를 다듬고 싶으면 배치가 끝난 뒤에 하는 게 맞더라고요.

직접 지켜본 실전 규율

며칠 적용해 보니 지킬 건 몇 개 안 됐어요.

한 배치 안에서는 모델을 고정해요. 바꿀 거면 배치를 끝내고 새로 시작하고요. 자주 변하는 값, 그러니까 현재 시각이나 랜덤 ID 같은 건 프리픽스 맨 앞이 아니라 뒤쪽에 둬요. 앞에 끼우면 그 뒤 전체가 매번 새 캐시가 되거든요.

캐시 유지 시간도 의식하게 됐어요. 기본 유지 시간이 5분 정도라 배치 사이 간격이 벌어지면 캐시가 식어버려서, 몰아서 도는 편이 유리해요. 마지막으로 재사용 비율을 지켜봐요. 저는 읽기 캐시 비율 0.85 이상을 기준으로 삼는데, 그 아래로 떨어지면 어딘가에서 프리픽스가 깨지고 있다는 신호로 봐요.

배치 시작→모델 고정→주제만 교체→배치 후 가이드 수정

작은 브랜드일수록 규율이 이득이에요

라이프케어로그도 이 블로그를 매일 자동으로 채우고 있어요. 플랜씨(plan-c) 계산기나 플랜엘(plan-l) 검색 같은 도구를 소개하는 글도 같은 파이프라인에서 나오는데, 앞부분을 고정하고 주제만 바꿔 끼우는 구조라 캐시 덕을 크게 봐요.

혼자 운영하면 시간도 돈도 아껴야 하잖아요. 거창한 최적화 기법을 배우기 전에, 모델을 함부로 바꾸지 않는 것만 지켜도 새는 비용이 꽤 줄어요. 작은 반복을 줄이는 게 결국 브랜드를 오래 굴리는 힘이 되더라고요.