7 min read
AI 채팅은 여러분이 말한 모든 것을 기억하지 않습니다. 컨텍스트 윈도우(context window)에 들어가는 만큼만 기억합니다. 이 한 가지 개념을 이해하면 이상하게 느껴졌던 AI의 여러 행동이 갑자기 이해됩니다. 제안서를 쓰다가 중간에 가격을 잊어버리는 어시스턴트, 문서의 앞쪽 절반을 건너뛴 요약, 오래 쓸수록 느려지고 모호해지는 채팅이 모두 그렇습니다.
이 가이드는 처음부터 시작합니다. 다 읽고 나면 컨텍스트 윈도우가 무엇인지, 그 한계에 도달했을 때 어떻게 알아차리는지, 그리고 AI 작업의 정확도를 지켜 주는 다섯 가지 간단한 습관을 알게 될 것입니다.
쉬운 말로 풀어 본 정의
컨텍스트 윈도우는 AI 모델이 답변을 작성하는 동안 한 번에 볼 수 있는 텍스트의 양입니다. 어시스턴트의 책상이라고 생각해 보세요. 책상 위에 있는 모든 것(여러분의 지시, 지금까지의 대화, 업로드한 파일, 그리고 작성 중인 답변)은 한꺼번에 보입니다. 책상에 올라가지 못한 것은 시야 밖에 있습니다.
책상의 크기는 토큰(token) 단위로 측정합니다. 토큰은 작은 텍스트 조각으로, 짧은 단어 하나이거나 긴 단어의 일부인 경우가 많습니다. 영어에서 토큰 하나는 평균적으로 단어의 약 4분의 3에 해당하므로, 1,000 토큰은 대략 750단어입니다. Anthropic의 컨텍스트 윈도우 문서도 같은 방식으로 설명합니다. 윈도우는 한 대화에서 모델이 쓰는 작업 기억이며, 모델이 학습 과정에서 배운 모든 것과는 다릅니다.
소규모 사업자가 신경 써야 하는 이유
요즘 어시스턴트는 윈도우가 커서 긴 계약서나 이메일 수백 통도 담을 수 있습니다. 그런데 왜 중요할까요? 이유는 세 가지입니다.
- 긴 채팅은 책상을 어지럽힙니다. 하나의 대화를 몇 주씩 열어 두면 초반의 지시는 나중에 쌓인 수백 개의 메시지 아래에 묻힙니다. 도구에 따라 오래된 내용은 요약되거나, 잘리거나, 그냥 덜 주목받게 됩니다.
- 주의는 고르게 분산되지 않습니다. 연구와 일상적인 경험 모두, 모델이 주어진 내용의 처음과 끝에 가장 주의를 기울이고 중간은 대충 훑을 수 있다는 점을 보여 줍니다. 40쪽 중 23쪽에 있는 핵심 내용이 가장 놓치기 쉽습니다.
- 책상이 꽉 찰수록 비용이 늘어납니다. 사용량에 따라 요금을 매기거나 한도를 두는 요금제와 도구에서는 답변할 때마다 대화 전체를 다시 읽습니다. 비대해진 채팅은 사용 한도를 더 빨리 소진합니다.
컨텍스트 윈도우, 메모리, 프로젝트의 차이
이 세 가지는 늘 헷갈리기 쉬우니 구분해 두는 것이 좋습니다.
- 컨텍스트 윈도우: 지금 이 대화에서 모델이 볼 수 있는 내용입니다.
- 메모리 기능: 일부 어시스턴트가 대화와 대화 사이에 저장해 두는 여러분에 관한 정보로, 예를 들면 회사 이름 같은 것입니다. 관련이 있을 때 다시 책상 위에 올라오므로 이것도 공간을 차지합니다.
- 프로젝트(그리고 맞춤형 GPT나 Gems 같은 비슷한 기능): 저장해 둔 지시와 파일 묶음으로, 해당 프로젝트의 모든 채팅이 시작될 때 책상 위에 놓입니다. Claude의 도움말 문서 Projects란 무엇인가에서는 이를 자체 지식을 갖춘 독립적인 작업 공간이라고 설명합니다.
이 중 어느 것도 AI의 책상을 더 크게 만들어 주지는 않습니다. 이들이 정하는 것은 무엇을 가장 먼저 책상에 올릴지입니다. 프로젝트형 기능을 나란히 비교해 보고 싶다면 Custom GPTs, Claude Projects, Gemini Gems 비교 글을 참고하세요.
한계에 도달했다는 네 가지 신호
- 처음에 정한 규칙(“견적은 항상 유로로”)을 어시스턴트가 무시하고 기본 방식으로 돌아갑니다.
- 같은 채팅 안에서 앞서 함께 내린 결정과 모순되는 말을 합니다.
- 긴 문서의 요약이 도입부와 마무리는 잘 다루지만, 중간 부분은 빈약하거나 틀립니다.
- 답변이 느려지거나, 일반적인 말만 하거나, 세부 내용을 지어내기 시작합니다. 마지막 증상은 환각과 겹치는데, 이에 대해서는 AI 환각에 관한 초보자 가이드에서 설명합니다.
이 신호들은 도구가 고장 났다는 뜻이 아닙니다. 책상이 어수선하다는 뜻입니다.
책상을 깔끔하게 유지하는 다섯 가지 습관
1. 작업 하나에 대화 하나
뉴스레터는 한 채팅에서, 청구서 알림은 다른 채팅에서 작성하세요. 짧고 초점이 분명한 대화가 더 빠르고, 더 저렴하고, 더 정확합니다. 이 목록에서 가장 효과적인 습관입니다.
2. 새로 시작하기 전에 인수인계 메모를 작성하기
긴 채팅이 방향을 잃기 시작하면 이렇게 요청하세요. “지금까지 내린 결정, 아직 열려 있는 질문, 현재 초안을 200단어 이내로 요약해 줘.” 그 내용을 새 채팅에 붙여 넣고 이어서 작업하세요. 진행 상황은 그대로 유지하고 어수선함만 덜어낼 수 있습니다.
3. 변하지 않는 정보는 채팅이 아니라 프로젝트에 넣기
서비스, 가격, 어조, 기본 정책은 프로젝트 지시에 넣어 두세요. 그러면 항상 가장 먼저 책상에 올라가, 모델이 가장 주의를 기울이는 위치에 놓입니다.
4. 파일 전체가 아니라 관련 페이지만 주기
해지 조항에 관한 질문이라면 해지 조항을 붙여 넣으세요. 긴 문서를 꼭 올려야 한다면 어디를 보면 되는지 알려 주세요. “답은 7절에 있어.”
5. 가장 중요한 지시는 끝에서 다시 말하기
긴 요청에서는 절대 놓치면 안 되는 한 가지를 마지막 줄에 다시 적어 주세요. “기억해: 가격은 유로로, 할인은 10%를 넘지 않게.” 모델은 입력의 끝부분에 큰 비중을 두기 때문에, 이 간단한 반복만으로도 많은 실수를 막을 수 있습니다.
개인정보 보호에 관한 참고 사항
책상 위에 있는 모든 것은 정의상 처리를 위해 AI 제공업체로 전송됩니다. “맥락을 알려 주려고” 고객의 파일 전체를 채팅에 붙여 넣기 전에, 어시스턴트가 정말 그 전부를 필요로 하는지 판단하세요. 잠긴 채팅, Temporary Chat, Claude 시크릿 모드 비교 글에서 어떤 설정이 그런 자료를 기록과 학습에서 제외하는지 설명합니다.
오늘의 첫걸음
AI 어시스턴트를 열고 가장 오래 이어지고 있는 대화를 찾아보세요. 습관 2의 프롬프트로 인수인계 메모를 요청하고, 그 메모로 새 채팅을 시작한 뒤 다음 답변의 품질을 비교해 보세요. 대부분은 바로 차이를 느낍니다. 이 개념이 와닿았다면, 다음으로 알아 두면 좋은 것은 AI가 다른 앱을 읽을 수 있게 해 주는 커넥터인 MCP입니다. 여러분이 붙여 넣은 내용에 의존하지 않고 직접 읽을 수 있게 해 줍니다.
네 가지 경고 신호 중 여러분의 AI 채팅에서 본 적이 있는 것은 무엇인가요?
