1 min read
초당 5에서 7단어. Microsoft에 따르면, 오픈소스 BitNet 프레임워크는 특수하게 압축한 초대형 AI 모델을 평범한 컴퓨터 프로세서 하나로 이 정도 속도로 실행할 수 있다고 합니다. 사람이 글을 읽는 속도와 비슷한 수준입니다. 몇 년 전만 해도 전용 하드웨어를 랙 하나 가득 채워야 가능했던 일입니다. 지금은 무료로 다운로드할 수 있습니다.
이 변화의 혜택을 누리기 위해 BitNet 자체를 쓸 필요는 없습니다. 핵심은 이것입니다. 이제 쓸 만한 AI 모델이 일반 노트북에서 완전히 실행됩니다. 클라우드로 전송되는 것은 아무것도 없습니다. 고객 계약서, 의료 접수 양식, 재무 기록, 아직 공개되지 않은 작업물을 다루는 1인 사업자에게 이것은 취미 삼아 해 보는 실험이 아니라 실질적인 개인정보 보호 수단입니다. 이 가이드에서는 1시간 안에 설정하는 방법과, 그만큼 중요한, 굳이 수고할 가치가 없는 경우를 알려드립니다.
애초에 왜 내 컴퓨터에서 AI를 실행할까
ChatGPT, Claude, Gemini 같은 클라우드 어시스턴트는 노트북에서 실행할 수 있는 어떤 모델보다도 성능이 뛰어납니다. 그래서 로컬 AI를 써야 하는 이유는 많지 않지만, 분명히 있습니다.
- 기밀 문서. 일부 고객 계약은 자료를 제3자 서비스에 업로드하는 것을 금지합니다. 로컬 모델은 텍스트를 어디로도 보내지 않습니다.
- 규제 대상 정보. 건강, 법률, 재무 정보를 다룬다면 그 데이터를 외부 서버에 두지 않는 것만으로 고객과의 소통이 단순해지고, 많은 경우 새로운 주 AI 법을 쉽게 풀어 쓴 가이드에서 다룬 규정에 대응하기도 쉬워집니다.
- 오프라인 작업. 비행기 안, 시골 작업 현장, 자꾸 끊기는 카페 와이파이도 더 이상 문제가 되지 않습니다.
- 사용량에 따른 비용 없음. 한 번 설치하면 로컬 모델은 전기료 외에는 비용이 들지 않습니다.
단점도 있습니다. 로컬 모델은 크기가 작아서 복잡한 추론이나 긴 문서에는 약합니다. 전략가가 아니라 초안 작성, 요약, 정리를 잘하는 유능한 비서라고 생각하세요.
1단계: 노트북 사양 확인하기
가장 중요한 숫자는 메모리(RAM)입니다. 실용적인 기준은 다음과 같습니다.
- RAM 8GB: 소형 모델(약 30억 개의 “파라미터”. 파라미터는 모델 크기를 대략적으로 나타내는 지표입니다). 짧은 요약과 다시 쓰기에 적당합니다.
- RAM 16GB: 중형 모델(약 70억에서 80억 개 파라미터). 대부분의 비즈니스 글쓰기 작업에 가장 적합한 지점입니다.
- 32GB 이상: 긴 문서에서도 정말 쓸모 있게 느껴지기 시작하는 대형 모델.
최신 Apple Silicon Mac과 최신 프로세서를 탑재한 Windows 노트북 모두 잘 작동합니다. 시작하는 데 게이밍용 그래픽카드는 필요 없습니다.
2단계: 쓰기 쉬운 앱 고르기
무료 도구 두 가지면 거의 모든 1인 사업자에게 충분합니다.
LM Studio(가장 쉬움, 클릭만으로 사용)
LM Studio는 Mac, Windows, Linux용 데스크톱 앱으로, 생김새도 사용감도 채팅 어시스턴트와 같습니다. 오픈 모델 카탈로그를 둘러보고 다운로드를 클릭한 뒤 바로 대화를 시작하면 됩니다. 터미널 창을 한 번도 열어 본 적이 없다면 여기서 시작하세요.
Ollama(간단하지만 조금 더 기술적)
Ollama는 일반 앱처럼 설치하고, 짧은 명령어 하나로 모델을 실행합니다. 다른 도구와 쉽게 연결된다는 점 때문에 인기가 많으며, 나중에 더 보기 좋은 창을 원한다면 Open WebUI 같은 무료 채팅 인터페이스도 붙일 수 있습니다.
둘 다 무료입니다. 타이핑을 전혀 하고 싶지 않다면 LM Studio를, 나중에 다른 앱과 연결할 계획이라면 Ollama를 고르세요.
3단계: 작은 오픈 모델 다운로드하기
오픈 모델은 누구나 실행할 수 있도록 파일이 공개된 AI 모델입니다. 두 앱 모두에서 Llama(Meta), Gemma(Google), Mistral, Qwen 같은 모델 계열을 볼 수 있습니다. 첫 테스트는 이렇게 하세요.
- 앱 카탈로그에서 1단계에서 확인한 RAM에 맞는 크기의 모델을 검색합니다.
- “instruct” 또는 “chat”이라고 표시된 버전을 고르세요. 지시를 따르도록 조정된 모델입니다.
- 하나를 다운로드합니다. 파일 크기는 몇 GB 정도입니다.
Ollama에서는 ollama run llama3.2 같은 명령어 하나로 모든 과정이 끝납니다. 작은 Llama 모델을 다운로드하고 터미널에서 대화를 시작해 줍니다.
4단계: 먼저 실제(민감하지 않은) 작업으로 테스트하기
고객 파일을 맡기기 전에, 공유해도 괜찮은 자료로 세 가지 테스트를 해 보세요.
- 잘 알고 있는 두 페이지짜리 문서를 요약하게 합니다. 중요한 내용을 빠뜨리지 않았나요?
- 대충 쓴 이메일을 더 친근한 어조로 다시 쓰게 합니다. 내가 쓴 것처럼 들리나요?
- 샘플 청구서에서 날짜, 이름, 금액을 추출하게 합니다. 정확한가요?
결과가 아쉽다면 한 단계 큰 모델이나 다른 계열의 모델을 시도해 보세요. 품질 차이는 앱보다 모델 사이에서 더 크게 납니다.
5단계: 간단한 “비공개 차선” 워크플로 만들기
가장 똑똑한 구성은 로컬만 쓰는 것이 아닙니다. 두 개의 차선으로 나누는 시스템입니다.
- 비공개 차선(로컬 모델): 고객 이름, 건강이나 재무 정보, 비밀유지계약 대상 자료가 들어 있는 모든 것. 요약, 초안 작성, 문서에서 세부 정보 뽑아내기에 씁니다.
- 공개 차선(클라우드 어시스턴트): 마케팅 문구, 일반적인 리서치, 전략 관련 질문, 이미 공개된 모든 내용.
유용한 요령이 하나 있습니다. 로컬 모델로 이름과 신원을 알 수 있는 정보를 먼저 지운 다음, 익명화된 버전을 클라우드 어시스턴트에 붙여 넣어 더 깊은 분석을 맡기는 것입니다. 원본을 노출하지 않고도 클라우드 수준의 품질을 얻을 수 있습니다.
로컬 AI가 가치 없는 경우
노트북 RAM이 8GB 미만이거나, 정말로 기밀인 업무가 없거나, 주로 깊이 있는 추론과 리서치가 필요하다면 이 방법은 아예 건너뛰세요. 그런 경우에는 보통 사용자 데이터로 학습하지 않겠다고 약속하는 클라우드 어시스턴트의 유료 비즈니스 요금제가 더 나은 선택입니다. 무료 AI 도구에 대한 오해를 정리한 글에서는 “무료”가 항상 더 저렴하지는 않은 이유를 설명하고, Anthropic의 10월 가격 인하를 다룬 글에서는 클라우드 비용이 얼마나 빠르게 내려가고 있는지 보여 줍니다.
핵심 정리
로컬 AI는 더 이상 과학 실험이 아닙니다. 16GB 노트북, 무료 앱, 30분의 설정만 있으면 가장 민감한 고객 업무를 완전히 내 컴퓨터 안에 두면서, 나머지 모든 일에는 계속 클라우드 도구를 쓸 수 있습니다. 이번 주에 앱 하나를 설치하고, 모델 하나를 테스트하고, 기밀 작업 하나를 맡겨 보세요. 내 도구 상자에 계속 둘 만한지 금방 알게 될 것입니다.
