클로드코드가 멍청해지는 이유: 메모리·컨텍스트·지식 위키 운영법

들어가며

아침에 클로드코드한테 일을 맡기면 척척 해냅니다. 그런데 같은 대화창에서 30분, 한 시간이 지나면 어딘가 이상해집니다. 방금 정한 규칙을 잊고, 아까 고쳐준 걸 또 틀리고, 엉뚱한 파일을 건드립니다. 분명 같은 AI인데 오후가 되니 아침보다 멍청해진 것 같습니다.

많은 분이 이걸 세 가지 증상으로 겪습니다. 하나, 사용 한도가 생각보다 빨리 걸립니다. 둘, 매번 "우리 브랜드는 이런 톤이고요, 이 프로젝트는 이런 상황이고요"를 처음부터 다시 설명하게 됩니다. 셋, 대화가 길어질수록 답변 품질이 떨어집니다.

이 세 증상은 사실 한 가지 원인에서 나옵니다. AI의 머리가 나빠서가 아니라, AI가 다루는 정보를 어디에 두고 언제 꺼내 쓸지 정하는 체계가 없기 때문입니다. 이 글에서는 그 체계를 만드는 법을 정리했습니다. "클로드코드 꿀팁" 하나가 아니라, 단기 기억부터 장기 지식까지 AI의 지식을 하나의 운영체제처럼 굴리는 방법을 다룹니다.

💡 핵심을 먼저 말하면 이렇습니다. AI를 더 똑똑하게 만드는 게 아니라, AI가 매 순간 보는 정보의 양과 종류를 사람이 관리해 주는 것. 그게 대화가 길어져도 흔들리지 않는 AI를 만드는 가장 현실적인 방법입니다.

왜 대화가 길어질수록 멍청해질까

클로드코드는 대화창을 새로 열 때마다 백지 상태에서 시작합니다. 어제 무슨 얘기를 했는지, 우리 회사가 뭘 하는지 기본적으로 기억하지 못합니다. 그래서 우리가 매번 설명을 붙이는 거죠.

문제는 그다음입니다. AI는 대화를 이어갈 때, 그때까지 오간 모든 대화 내용을 통째로 다시 읽고 나서 답을 만듭니다. 대화가 짧을 때는 이 부담이 작습니다. 하지만 한 시간쯤 대화가 쌓이면, AI는 매 답변마다 그 한 시간치 기록을 전부 다시 훑어야 합니다. 새로 생각할 여유보다 과거를 되짚는 부담이 훨씬 커지는 겁니다.

여기서 중요한 사실이 있습니다. AI가 한 번에 담을 수 있는 정보의 양에는 정해진 한계가 있고, 그 그릇이 꽉 찰수록 성능이 떨어진다는 점입니다. 공식 문서도 이 점을 분명히 합니다. 기본 모델은 대략 20만 토큰(토큰은 AI가 글자를 세는 단위입니다), 확장 컨텍스트를 지원하는 모델은 100만 토큰 수준을 담을 수 있는데, 그릇이 클수록 좋기만 한 게 아니라 가득 채울수록 앞에서 준 지침을 놓치기 쉬워집니다. 사람으로 치면 책상 위에 두 시간치 회의록이 산더미처럼 쌓인 직원과 같습니다. 자료가 많다고 일을 잘하는 게 아니라, 오히려 어디에 뭐가 있는지 몰라 헤매게 됩니다.

그래서 첫걸음은 AI를 바꾸는 게 아니라, 지금 그릇이 얼마나 찼는지 눈으로 보는 것입니다. 클로드코드에는 이걸 보여주는 장치가 있습니다. /context는 지금 대화가 어디에 토큰을 쓰고 있는지 분포를 보여주고, /cost는 이번 세션에서 쓴 양과 추정 비용을 알려줍니다. 화면 아래 상태 표시줄(status line)을 켜두면 남은 용량이 몇 퍼센트인지 항상 눈에 들어옵니다. 이 상태 표시줄은 내 컴퓨터에서만 돌고 별도의 비용을 쓰지 않으므로 부담 없이 켜둘 수 있습니다.

💡 "캐싱을 쓰면 되지 않나요?"라는 질문을 자주 받습니다. 프롬프트 캐싱은 반복되는 앞부분을 재활용해 비용을 최대 90%까지 줄여 주지만, 그릇을 비워 주지는 않습니다. 공식 문서 표현대로 캐시된 내용도 여전히 컨텍스트 용량을 차지합니다. 즉 캐싱은 '요금'을 아껴 줄 뿐, '멍청해지는 문제'를 막아 주지는 못합니다.

AI 지식을 5층으로 나눠 두는 법

해법은 단순합니다. 모든 정보를 한 책상 위에 쌓지 말고, 정보의 성격에 따라 층을 나눠 두는 것입니다. 클로드코드를 채팅창이 아니라 'AI 직원이 일하는 사무실'이라고 생각해 보세요. 잘 정리된 사무실에는 지금 보는 메모를 붙이는 책상, 진행 중인 일을 적는 공책, 상황별 자료를 넣는 서랍, 반복 업무 매뉴얼, 그리고 1년치 자료가 꽂힌 책장이 따로 있습니다.

이걸 클로드코드에 그대로 옮기면 다섯 층이 됩니다. 각 층의 진짜 차이는 **"어디에 두느냐"가 아니라 "언제 AI 머릿속에 불려 오느냐"**입니다. 이 표 하나가 곧 "새로 생긴 정보를 어느 층에 둘까"를 결정하는 지도입니다.

핵심은 위로 갈수록 항상 켜져 있고(그래서 아껴 써야 하고), 아래로 갈수록 필요할 때만 잠깐 켜진다는 점입니다. 1단은 매 대화에 무조건 들어가니 여기에 이것저것 다 넣으면 책상이 다시 종이로 가득 찹니다. 반대로 5단은 1년치 자료를 쌓아 둬도 평소엔 조용히 있다가, 질문할 때만 딱 필요한 답을 한 장 뽑아 옵니다.

실제로 어떻게 운영하나

1단 — 책상 위 메모는 짧게

1단은 매 대화에 자동으로 들어가는 상시 지침입니다. 클로드코드에서는 CLAUDE.md라는 파일 한 장이 이 역할을 합니다. 여기엔 브랜드 톤, 자주 쓰는 답변 형식, 절대 어기면 안 되는 원칙처럼 '매번 필요한 것'만 넣습니다.

여기서 반드시 지킬 규칙이 하나 있습니다. 짧게 유지하기. 공식 권장은 한 파일당 200줄 미만입니다. 이유는 명확합니다. 이 파일이 길어질수록 매 대화의 책상이 무거워지고, 역설적이게도 AI가 정작 중요한 지시를 놓치기 시작합니다. 공식 문서도 "비대해진 파일은 오히려 실제 지시를 무시하게 만든다"고 경고합니다. 메모지는 딱 눈에 들어올 만큼만 붙여야 합니다.

2단 — 공책은 AI가 스스로 씁니다

2단은 진행 중인 일의 맥락입니다. 클로드코드의 자동 메모리 기능이 여기에 해당하는데, 사람이 일일이 적는 게 아니라 AI가 대화하면서 알아서 "아, 이 사장님은 표보다 글을 선호하시는구나" 같은 걸 공책에 적어 둡니다. 그리고 다음 대화를 시작할 때 이 공책의 앞부분(대략 첫 200줄 또는 25KB 분량)을 자동으로 다시 읽고 시작합니다.

덕분에 "저번에 말했잖아요"를 반복할 일이 줄어듭니다. 다만 이 기능은 비교적 최근에 들어온 것이라, 안 보인다면 claude --version으로 버전을 확인해 보세요.

3단 — 서랍은 '폴더가 스위치'입니다

여기서부터가 진짜 편해지는 지점입니다. 3단은 상황별 세부 규칙인데, 재미있는 건 필요할 때만 저절로 켜진다는 점입니다.

예를 들어 프리랜서 디자이너가 클라이언트 A는 격식체, 클라이언트 B는 캐주얼한 톤을 쓴다고 해봅시다. 매번 "이번엔 B니까 캐주얼하게"라고 지시하는 대신, "B 폴더의 파일을 만질 때만 캐주얼 톤"이라는 규칙을 서랍에 넣어 둡니다. 그러면 내가 B 작업을 할 때 그 규칙이 알아서 켜지고, A 작업을 할 땐 조용히 잠들어 있습니다. 폴더 경로 자체가 스위치가 되는 셈입니다. 이렇게 하면 1단 책상은 가볍게 유지하면서도, 상황마다 딱 맞는 규칙을 적용할 수 있습니다.

4단 — 반복 업무는 매뉴얼과 대리인에게

매주 월요일마다 매출 CSV를 열어 "카테고리별로 나누고, TOP 3 고객 뽑고, 환불 분리해서 정리해줘"를 처음부터 설명하고 있다면, 그건 4단으로 내려야 할 일입니다. 이 절차를 매뉴얼(스킬)로 한 번 만들어 두면 "이번 주 보고서 만들어줘" 한마디로 끝납니다. 이 스킬 이야기는 Claude Skills, 코딩 없이 AI 업무 비서 만드는 법에서 자세히 다뤘습니다.

무거운 리서치도 4단의 몫입니다. 경쟁사 50곳의 기사를 메인 대화창에 다 붙이면 책상이 순식간에 종이로 가득 찹니다. 대신 '리서치 대리인'(서브에이전트)에게 그 일을 통째로 맡기고 요약 한 페이지만 받아오면, 메인 대화창은 가벼운 상태를 유지합니다. 50권의 책을 책상에 다 올리는 대신, 조사원에게 시켜 요약 카드 한 장만 받는 거죠.

5단 — 장기 지식은 '복리'로 쌓습니다

마지막 5단이 이 글에서 가장 강조하고 싶은 부분입니다. 1년치 회의록, 읽은 책 메모, 산업 리포트 같은 장기 지식을 어떻게 둘까요?

많은 분이 NotebookLM 같은 도구에 자료를 잔뜩 올려 둡니다. 좋은 방법이지만 한 가지 아쉬움이 있습니다. 질문할 때마다 매번 원본에서 처음부터 다시 찾는다는 점입니다. 어제 한 분석이 오늘 자동으로 반영되지 않습니다. 지식이 '쌓이는' 느낌이 없는 거죠.

여기서 AI 분야의 유명한 연구자 안드레이 카파시가 공개해 화제가 된 방식이 있습니다. 흔히 **'LLM 위키'**라고 부르는 패턴입니다. 원리는 이렇습니다. 자료를 하나 넣으면 AI가 그걸 읽고, 기존에 정리해 둔 내 위키에 통합하고, 관련된 다른 페이지들까지 교차로 갱신합니다. 자료 하나를 넣으면 관련 페이지 열 몇 개가 동시에 손질됩니다. 그래서 시간이 지날수록 지식이 은행 이자처럼 복리로 불어납니다. 오늘 넣은 독서 메모가 지난달 시장 조사와 저절로 연결되는 식입니다.

구조도 어렵지 않습니다. 세 칸으로 나뉩니다. 원본을 그대로 넣는 자료 칸(사람이 넣고 AI는 읽기만), AI가 정리하고 관리하는 위키 칸(사람은 읽기만), 그리고 둘의 규칙을 정하는 설정입니다. 거창한 데이터베이스도 필요 없습니다. 마크다운 파일이 담긴 폴더 하나면 충분하고, 데이터는 내 컴퓨터에 남습니다.

💡 카파시는 이 관계를 이렇게 비유했습니다. "옵시디언(메모 앱)은 편집 도구이고, AI는 편집자이며, 위키는 내 지식 그 자체다." 사람이 위키를 오래 못 쓰는 이유는 관리가 귀찮아서인데, AI는 지루해하지 않고 교차 연결을 빠뜨리지 않으며 한 번에 여러 페이지를 고칩니다. '정리하는 노동'을 AI가 대신 지는 것이 이 방식의 핵심입니다.

작은 팀이라면 효과가 더 큽니다. 신입이 들어올 때마다 "우리 환불 정책이 뭐죠?"를 세 번째로 답하는 대신, 위키가 회의록·정책·지난 결정을 유지·관리하니 "환불 정책 결정 이력 정리해줘" 한마디로 끝납니다. 자료를 쌓는 게 아니라, 자료가 스스로 정리되는 시스템을 갖는 겁니다.

다 맡기기 전에, 이건 사람이 쥐고 갑니다

여기까지 오면 "그럼 다 자동으로 맡기면 되겠네"라고 생각하기 쉽습니다. 하지만 자동화는 편한 만큼 위험하고, 특히 비개발자일수록 어디까지 사람이 확인할지부터 정해둬야 합니다.

첫째, AI의 자동 메모리는 완벽하지 않습니다. 잘못 기억한 내용이 공책에 남을 수 있습니다. 그래서 주기적으로 사람이 공책을 훑어보고, 틀린 건 정리해야 합니다. 지우기 전에 "이거 지워도 될까?"를 먼저 확인하는 습관을 들이세요.

둘째, 장기 위키도 정기 건강검진이 필요합니다. 오래된 주장, 서로 모순되는 내용, 아무 데도 연결 안 된 외톨이 페이지가 쌓이기 마련입니다. AI에게 "위키에서 서로 안 맞는 내용이나 낡은 정보 찾아줘"라고 시키되, 실제 삭제나 병합은 사람이 확인하고 승인하는 걸 원칙으로 합니다.

셋째, 상시 지침(1단)은 '권고'일 뿐 강제가 아닙니다. 공식 문서도 이 점을 분명히 합니다. CLAUDE.md에 적은 규칙은 AI가 참고하는 조언이지, 100% 지킨다는 보장이 아닙니다. 그래서 "이건 절대 빠지면 안 된다" 싶은 절차는 권고에 기대지 말고, 실행을 확실히 강제하는 자동 장치(훅)로 못 박아 두는 편이 안전합니다.

넷째, 편의를 위해 권한 확인을 통째로 건너뛰는 실행은 피하세요. 빨라 보이지만, AI가 되돌리기 어려운 작업을 무검수로 하게 만드는 지름길입니다. 파일 삭제, 외부 발송, 결제 같은 되돌릴 수 없는 행동은 항상 사람이 최종 버튼을 누릅니다.

참고로 여기서 소개한 기능들은 제품 버전에 따라 이름이나 동작이 조금씩 바뀔 수 있습니다. claude --version으로 확인하고, 세부 수치는 공식 문서를 함께 보는 걸 권합니다.

왜 이게 비개발자에게 중요한가

예전에는 '지식이 스스로 정리되고 쌓이는 시스템'은 큰 조직이나 전담 인력의 영역이었습니다. 지금은 마크다운 문서 몇 장과 자연어 지시만으로 1인 사업자도 자기만의 지식 운영체제를 가질 수 있습니다.

이게 T2D Network가 보는 방향입니다. AI를 잘 쓰는 힘이 '더 좋은 프롬프트를 외우는 것'에서 **'내 지식을 어디에 두고 어떻게 쌓을지 정하는 것'**으로 옮겨 가고 있습니다. 그리고 이렇게 짜두는 힘이야말로 작은 팀이 가질 수 있는 진짜 경쟁력입니다. 큰 회사는 흉내 낼 수 없는, 내 업의 맥락이 복리로 쌓인 지식 자산이니까요.

한 가지만 기억하세요. 이 모든 자동화의 마지막 버튼은 사람이 누릅니다. AI가 정리하고 제안하되, 무엇을 남기고 무엇을 버릴지는 사람이 정합니다. 그 판단이 쌓일수록 시스템은 점점 더 내 편이 됩니다.

🎯 오늘의 액션: 이번 주에 클로드코드한테 두 번 이상 똑같이 설명한 내용이 있나요? 그 하나를 떠올려 보세요. 그게 지금 당신의 책상(1단)에 붙여야 할 첫 메모입니다. 딱 한 줄부터 시작하세요.

영상으로 직접 따라 해보기

지금까지 '왜 흐트러지는가'와 '무엇을 어느 층에 둘까'를 짚었습니다. 실제로 5층을 손으로 세팅하고 LLM 위키에 자료를 넣어 보는 전체 실습 과정은 아래 영상과 상세 가이드에 단계별로 담겨 있습니다.

• 영상: 클로드코드가 멍청해지는 이유 — 메모리·컨텍스트 운영법
• 영상: 내 노하우를 나무위키처럼 — LLM 위키 만들기
• 상세 가이드(README): Claude Code 메모리·컨텍스트 운영 가이드
• 상세 가이드(README): LLM 위키 구축 가이드

함께 읽으면 좋은 글

• Claude Skills, 코딩 없이 AI 업무 비서 만드는 법 — 4단 '업무 매뉴얼'을 실제로 만드는 법
• 프롬프트를 반복하지 말고 루프를 설계하세요: Claude Code /loop 업무 자동화 가이드 — 반복 업무를 구조로 바꾸기
• 리서치도 AI에게 시스템으로 맡기세요: Claude Code × NotebookLM 운영법 — 같은 시리즈
• AI한테 '이거 해줘' 그만 시키세요: 출근하고 보고하는 AI 직원 만드는 법 — 같은 시리즈

참고 자료 및 출처