컨텍스트 50% 넘긴 AI 세션, /compact 말고 새로 시작하는 이유

혹시 AI 코딩 세션이 길어질수록 답이 점점 이상해지는 경험 없나요? 처음엔 잘 따라오던 모델이 어느 순간 이미 고친 파일을 다시 고치거나, 앞서 합의한 규칙을 잊어요. 저도 혼자 운영하면서 이 문제로 꽤 시간을 잃었어요.

모델은 CPU, 컨텍스트는 RAM

에이전트 세션을 이렇게 보면 이해가 쉬워요. 모델이 연산을 하고, 컨텍스트 창이 작업 메모리 역할을 해요. 메모리가 차면 오래된 내용이 밀려나거나 흐릿해지고, 그 위에서 나온 판단은 근거가 빈 상태예요.

직접 여러 세션을 돌려 보니 체감상 기준선이 보였어요. 20% 안쪽이면 문제없고, 30~40%부터 앞부분 지시를 놓치기 시작해요. 50%를 넘기면 산출물을 그대로 믿기 어려웠어요. 이건 제가 세운 운영 기준이고 공식 수치는 아니에요.

• ✓20% 이하 정상
• ✓30~40% 재시작 준비
• ✓50% 이상 산출물 폐기 전제

/compact가 아쉬운 이유

/compact는 대화를 요약해 컨텍스트를 비워 주는 명령이에요. 편하지만 요약에는 모델이 고른 내용만 남아요. 어떤 결정을 왜 했는지 같은 맥락이 통째로 빠지기도 해요.

적용해 봤더니 더 큰 함정은 방향 오류였어요. 잘못된 전제 위에서 30분을 달렸다면 요약은 그 오류까지 압축해서 다음 단계로 넘겨요. 이럴 땐 요약보다 되감기가 맞아요. 입력창을 비운 채 Esc를 두 번 누르면 이전 지점으로 돌아갈 수 있어요.

대신 이렇게 해요: 상태 남기고 재시작

제가 쓰는 절차는 3단계예요.

1. 30% 근처에서 진행 상황을 파일로 남겨요. 완료 항목, 다음 단계, 증거 파일 경로, 지시 밖에서 내린 판단과 그 이유까지요.
2. 새 세션을 열고 그 파일만 읽게 해요. 대화 기록이 아니라 정리된 상태만 넘기는 게 핵심이에요.
3. 50%를 넘긴 세션에서 나온 코드는 리뷰 없이 병합하지 않아요. 새 설계나 고위험 판단도 그 세션에선 안 해요.

30% 도달→상태 파일 기록→새 세션이 상태만 읽고 재개

플랜씨(plan-c) 대출이자 계산기 화면을 손보던 세션에서 이 절차를 처음 써 봤어요. 테스트해 보면 재시작 직후 모델이 이미 끝난 항목을 다시 건드리는 일이 확 줄었어요.

비용 걱정은 따로 계산해요

세션을 쪼개면 프롬프트 캐시가 깨져 비용이 오를까 걱정했어요. 공식 가격표 기준으로 캐시 읽기 토큰은 일반 입력의 10% 값이라, 한 세션을 길게 끄는 쪽이 분명 싸요.

그래서 두 축을 분리했어요. 스펙과 테스트가 고정된 단순 구현 루프는 한 세션에서 이어가되, 판단이 필요한 작업은 임계를 지켜요. 싸게 만든 산출물을 다시 만드는 비용이 더 크다는 걸 돌려 보니 알았어요.

마무리

컨텍스트는 아껴 쓰는 자원이 아니라 상태를 옮겨 담는 그릇이에요. 절반이 차면 요약하지 말고, 남길 것만 적어 두고 새로 시작해 보세요.