1 min read
고객 계약서, 환자 메모, 매출 스프레드시트를 챗봇에 붙여 넣을 때마다 그 내용은 여러분의 컴퓨터를 떠납니다. 대부분의 작업에서는 문제가 없습니다. 하지만 그렇지 않은 작업도 있고, 2026년에는 마침내 현실적인 대안이 생겼습니다. 바로 로컬 AI, 즉 인터넷으로 아무것도 보내지 않고 내 노트북에서만 돌아가는 AI 모델입니다. 이 가이드는 1인 사업자의 관점에서 로컬 AI와 클라우드 AI를 정면으로 비교해, 어떤 일을 어디에서 처리할지 판단할 수 있도록 돕습니다.
왜 갑자기 이 선택이 중요해졌을까
2년 전만 해도 내 컴퓨터에서 AI를 돌리는 것은 비싼 그래픽 카드를 가진 엔지니어들의 취미였습니다. 지금은 무료 데스크톱 앱 덕분에 거의 클릭 몇 번이면 되고, 주요 기업들도 자사 제품에 로컬 옵션을 추가하고 있습니다. 예를 들어 Perplexity는 11월 초 Mac용 Computer 에이전트에 완전한 로컬 모드를 추가했으며, 메모리 36GB를 갖춘 최신 Apple silicon Mac을 권장한다고 보도되었습니다.
한편 고객들의 질문은 점점 까다로워지고 있습니다. 고객에게 사용하는 도구를 설명해야 했던 적이 있다면, 고객에게 AI 사용 사실을 알리는 방법에 관한 가이드에서 문서 작업 측면을 다룹니다. 이 글은 기술적인 측면, 즉 데이터가 실제로 어디로 가는지를 다룹니다.
두 가지 선택지를 한 문장씩으로
- 클라우드 AI(ChatGPT, Claude, Gemini, Copilot): 모델이 해당 기업의 서버에서 돌아갑니다. 가장 성능 좋은 모델, 웹 검색, 파일 도구, 커넥터를 쓸 수 있지만, 내 텍스트는 제3자가 자사 약관에 따라 처리합니다.
- 로컬 AI(오픈 모델을 실행하는 Ollama나 LM Studio 같은 앱): 모델이 내 컴퓨터에서 돌아갑니다. 아무것도 기기 밖으로 나가지 않고, 오프라인에서도 작동하며, 무료로 쓸 수 있습니다. 다만 모델이 더 작고 설정과 관리는 직접 해야 합니다.
정면 비교: 승부를 가르는 6가지 기준
1. 개인정보 보호와 기밀성
승자: 로컬 AI. 모델이 내 노트북에서 돌아가면 서버 로그도 없고, 읽어야 할 데이터 보관 정책도 없으며, 내 텍스트가 학습에 쓰일 가능성도 없습니다. 대형 클라우드 업체의 비즈니스 요금제는 데이터를 학습에 쓰지 않겠다고 약속하고, 이는 실질적인 보호 장치입니다. 하지만 그것은 여전히 물리적 사실이 아니라 제3자의 약속입니다. 계약서에 고객 데이터가 내 시스템 밖으로 나가면 안 된다고 적혀 있다면, 확실하게 이를 지킬 수 있는 선택지는 로컬뿐입니다.
2. 답변 품질
승자: 클라우드 AI, 큰 차이로. 일반 노트북에서 돌릴 수 있는 모델은 요약, 문장 다듬기, 핵심 정리, 일상적인 이메일 초안 작성에는 능숙합니다. 하지만 긴 추론, 까다로운 계산, 미묘한 뉘앙스가 필요한 글, 최신 정보가 필요한 일에는 눈에 띄게 약합니다. “시니어 전문가”가 아니라 “유능한 주니어 비서” 정도로 기대하세요.
3. 비용
승자: 하드웨어에 따라 다릅니다. 로컬 앱과 오픈 모델은 월 비용이 전혀 없습니다. 하지만 쓸 만한 모델은 메모리를 많이 요구합니다. 대략적인 기준으로, 16GB 메모리면 작은 모델을 무리 없이 돌릴 수 있고, 32GB 이상이면 훨씬 나은 모델을 쓸 수 있습니다. 이미 최신 기기를 갖고 있다면 로컬은 사실상 무료입니다. 이것 하나 때문에 새 노트북을 사야 한다면, 월 $20짜리 클라우드 요금제가 몇 년 동안 더 경제적입니다.
4. 기능
승자: 클라우드 AI. 웹 검색, 이미지 생성, 음성 모드, 파일 생성, 이메일과 캘린더 연결 커넥터 같은 기능에서 클라우드 어시스턴트가 크게 앞서 있습니다. 로컬 앱은 채팅 창과, 경우에 따라 내 드라이브에 있는 문서에 대해 질문하는 기능 정도를 제공합니다. 유용하긴 하지만 도구 상자가 좁습니다.
5. 안정성과 오프라인 사용
승자: 로컬 AI. 로컬 모델은 비행기 안에서도, 신호가 잡히지 않는 고객사 지하 사무실에서도, 클라우드 장애 중에도 작동합니다. 또 하룻밤 사이에 바뀌는 일도 없습니다. 클라우드 모델은 업데이트되거나 이름이 바뀌거나 요금제 간에 이동하기도 하며(Google의 AI Plus 구독자는 최근 Pro 모델을 잃었습니다), 공들여 다듬은 프롬프트가 다음 날 아침 다르게 작동할 수도 있습니다.
6. 예상하지 못했을 수 있는 보안 위험
장단점이 섞여 있습니다. 로컬 AI는 제3자 위험을 없애 주지만, 대신 소프트웨어와 모델 파일을 내려받는 위험을 직접 떠안게 됩니다. 앱은 공식 사이트에서만 설치하고, 잘 알려진 모델은 앱 안에서 직접 내려받으세요. 커넥터가 연결된 클라우드 어시스턴트에는 다른 종류의 위험이 있습니다. 악의적인 이메일이나 웹페이지가 AI를 조종해 데이터를 유출하게 만들 수 있는데, 이 수법은 프롬프트 인젝션 입문 가이드에서 설명합니다.
점수표
- 개인정보 보호: 로컬
- 답변 품질: 클라우드
- 월 비용: 하드웨어가 이미 있다면 로컬
- 기능: 클라우드
- 오프라인 사용과 안정성: 로컬
- 보안: 위험의 종류가 다를 뿐, 둘 다 위험이 없지는 않음
결론: 두 갈래 시스템으로 운영하세요
거의 모든 1인 사업자에게 정답은 둘 중 하나가 아닙니다. 둘 다 쓰되, 어떤 작업을 어느 쪽으로 보낼지 명확한 원칙을 정하는 것입니다.
로컬 갈래(민감하고 일상적인 작업):
- 고객 계약서, 의료, 법률, 금융 문서 요약
- 기밀 회의록에서 실행 항목 뽑아내기
- 이름, 계좌 번호, 건강 정보가 들어간 이메일 다듬기
- NDA(비밀유지계약)가 적용되는 자료를 바탕으로 한 초안 작성
클라우드 갈래(공개적이고 복잡한 작업):
- 마케팅 문구, 블로그 글, SNS 콘텐츠
- 웹 검색이 필요한 조사
- 추론 품질이 중요한 전략 관련 질문
- 이미지, 슬라이드, 스프레드시트, 커넥터가 필요한 모든 작업
어느 갈래로 보낼지는 간단한 질문 하나로 정할 수 있습니다. 이 텍스트가 그대로 업체의 로그에 남아도 괜찮을까? 괜찮다면 클라우드를 쓰세요. 아니라면 로컬을 쓰거나, 신원을 알 수 있는 정보를 먼저 지운 뒤 클라우드를 쓰세요.
약 30분 만에 로컬 갈래 준비하기
- 메모리를 확인하세요. Mac에서는 “이 Mac에 관하여”를 엽니다. Windows에서는 설정, 시스템, 정보 순으로 엽니다. 16GB 미만이면 로컬 AI가 느릴 것이므로, 차라리 민감한 정보를 꼼꼼히 가린 뒤 클라우드를 쓰는 편을 고려하세요.
- 공식 사이트에서 앱 하나를 설치하세요. 비전문가에게는 LM Studio의 인터페이스가 가장 친숙합니다. Ollama는 더 가볍고, 명령어 몇 줄 입력하는 데 거부감이 없다면 인기 있는 선택입니다.
- 앱이 내 메모리에 맞춰 추천하는 중간 크기 모델 하나를 내려받으세요. 작게 시작하세요. 더 큰 모델은 언제든 시도해 볼 수 있습니다.
- 실제 업무지만 부담이 적은 작업으로 테스트하세요. 예를 들어 이미 내용을 잘 아는 옛 계약서를 요약하게 한 뒤, 결과를 내가 아는 사실과 비교해 보세요.
- 갈래 원칙을 한 줄로 적어 모니터에 붙여 두세요.
기대치는 적당히 유지하세요. 로컬 모델은 답변 하나에 몇 초씩 걸릴 수 있고, 가끔 세부 사항을 놓치기도 합니다. 또 내 하드웨어에서 돌아가기 때문에 작업 기억 용량도 더 작은데, 이 한계는 AI가 긴 대화의 앞부분을 잊어버리는 이유에 관한 가이드에서 설명합니다. 문서는 한 번에 하나씩 넣어 주세요.
다음 단계
일주일에 한 번이라도 기밀 고객 자료를 다룬다면, 이번 달에 로컬 갈래를 준비하세요. 컴퓨터가 최신이라면 비용은 들지 않고, 다음에 고객이 데이터가 어디로 가는지 물을 때 깔끔하게 답할 수 있습니다. 주로 공개적인 마케팅과 조사 업무를 한다면 클라우드를 계속 쓰고, 그 30분은 다른 일에 쓰세요. 여러분은 이미 민감한 작업을 클라우드 AI와 분리하고 계신가요? 여러분의 원칙을 댓글로 공유해 주세요.
