1 min read
毎秒5から7単語。Microsoftによると、同社のオープンソースBitNetフレームワークは、特殊な圧縮を施した非常に大きなAIモデルを、ごく普通のコンピュータープロセッサー1基でこの速度で動かせるといいます。これは人が文章を読む速さとほぼ同じです。数年前なら専用ハードウェアをラック1台分そろえる必要がありました。今では無料でダウンロードできます。
この変化の恩恵を受けるのに、BitNetそのものを使う必要はありません。大事なのは次の点です。実用的なAIモデルが、今では普通のノートパソコンだけで完結して動くのです。クラウドには何も送信されません。クライアントの契約書、医療の問診票、財務記録、未発表の作品などを扱う個人事業にとって、これは趣味の実験ではなく、実用的なプライバシー対策です。このガイドでは、1時間以内でセットアップする方法と、同じくらい大切な、手間をかける価値がないケースについて説明します。
そもそも、なぜ自分のパソコンでAIを動かすのか
ChatGPT、Claude、Geminiといったクラウドのアシスタントは、ノートパソコンで動かせるどのモデルよりも高性能です。そのため、ローカルAIを選ぶ理由は限られていますが、確かに存在します。
- 機密文書。クライアントとの契約によっては、資料を第三者のサービスにアップロードすることが禁止されています。ローカルモデルなら、テキストがどこにも送信されません。
- 規制対象の情報。健康、法務、財務に関する情報を扱う場合、そのデータを外部サーバーに置かないことで、クライアントとのやり取りがシンプルになります。また多くの場合、新しい州のAI法をわかりやすく解説したガイドで取り上げたルールへの対応も楽になります。
- オフライン作業。飛行機の中、地方の現場、カフェの不安定なWi-Fiも気になりません。
- 利用ごとの料金なし。一度インストールすれば、ローカルモデルの運用コストは電気代だけです。
トレードオフもあります。ローカルモデルは小さいため、複雑な推論や長い文書は苦手です。戦略家ではなく、下書き、要約、整理をこなす有能なアシスタントだと考えてください。
ステップ1：ノートパソコンを確認する
最も重要な数値はメモリ（RAM）です。実用的な目安は次のとおりです。
- RAM 8 GB：小型モデル（約30億「パラメーター」。パラメーターはモデルの規模を表すおおまかな指標です）。短い要約や書き直しには十分です。
- RAM 16 GB：中型モデル（約70億から80億パラメーター）。ほとんどのビジネス文書作成に最適なバランスです。
- 32 GB以上：長めの文書でも本当に役立ち始める、より大きなモデル。
最近のApple Silicon搭載Macも、最新のプロセッサーを搭載したWindowsノートパソコンも、どちらも快適に動きます。始めるのにゲーミング用のグラフィックカードは必要ありません。
ステップ2：使いやすいアプリを選ぶ
2つの無料ツールで、ほぼすべての個人事業主のニーズをカバーできます。
LM Studio（最も簡単、クリックだけで操作）
LM Studioは、Mac、Windows、Linuxに対応したデスクトップアプリで、見た目も使い心地もチャットアシスタントそのものです。オープンモデルのカタログを見て、ダウンロードをクリックすれば、すぐにチャットを始められます。ターミナルを開いたことがない人は、ここから始めましょう。
Ollama（シンプル、少しだけ技術寄り）
Ollamaは普通のアプリと同じようにインストールでき、短いコマンドを1つ入力するだけでモデルを動かせます。ほかのツールと簡単に連携できることから人気があり、あとでもっと見やすい画面がほしくなったら、Open WebUIのような無料のチャット画面も使えます。
どちらも無料です。文字入力を一切したくないならLM Studio、あとでほかのアプリと連携する予定があるならOllamaを選びましょう。
ステップ3：小さなオープンモデルをダウンロードする
オープンモデルとは、誰でも動かせるようにファイルが公開されているAIモデルのことです。どちらのアプリでも、Llama（Meta）、Gemma（Google）、Mistral、Qwenといったモデルファミリーが見つかります。最初のテストでは次のようにします。
- アプリのカタログで、ステップ1で確認したRAMに合ったサイズのモデルを探します。
- 「instruct」や「chat」と表記されたバージョンを選びましょう。指示に従うよう調整されています。
- 1つダウンロードします。ファイルサイズは数GB程度です。
Ollamaなら、ollama run llama3.2のようなコマンド1つで全工程が完了します。小型のLlamaモデルがダウンロードされ、ターミナル上でチャットが始まります。
ステップ4：まずは実際の（機密ではない）作業で試す
クライアントのファイルを任せる前に、共有しても問題ない資料を使って3つのテストをしてみましょう。
- よく知っている2ページの文書を要約させます。重要な点が抜けていませんか？
- 走り書きのメールを、より親しみやすいトーンに書き直しさせます。あなたらしい文章になっていますか？
- サンプルの請求書から日付、名前、金額を抽出させます。正確ですか？
結果が物足りなければ、ひとつ上のサイズのモデルか、別のファミリーを試してください。品質の差は、アプリ間よりもモデル間のほうが大きく出ます。
ステップ5：シンプルな「プライベートレーン」のワークフローをつくる
最も賢い構成は、ローカルだけに頼るものではありません。2つのレーンで使い分ける仕組みです。
- プライベートレーン（ローカルモデル）：クライアント名、健康や財務の情報、秘密保持契約の対象となる資料を含むものすべて。要約、初稿、文書からの情報抽出に使います。
- パブリックレーン（クラウドアシスタント）：マーケティング文、一般的なリサーチ、戦略に関する質問、すでに公開されている情報すべて。
便利なテクニックがあります。まずローカルモデルに名前や個人を特定できる情報を取り除かせ、その匿名化したバージョンをクラウドアシスタントに貼り付けて、より高度な検討を任せるのです。原文を外に出さずに、クラウド並みの品質が得られます。
ローカルAIが割に合わないとき
ノートパソコンのRAMが8 GB未満の場合、本当に機密性の高い業務がない場合、または主に高度な推論やリサーチが必要な場合は、ローカルAIは見送りましょう。そうしたケースでは、通常はデータを学習に使わないと約束しているクラウドアシスタントの有料ビジネスプランのほうが賢い選択です。無料AIツールにまつわる誤解についての記事では「無料」が必ずしも安上がりではない理由を、Anthropicの10月の値下げについての解説ではクラウドのコストがどれほど速く下がっているかを紹介しています。
まとめ
ローカルAIはもはや実験の域を超えています。16 GBのノートパソコン、無料のアプリ、30分のセットアップがあれば、最も機密性の高いクライアント業務を完全に自分のパソコンの中にとどめながら、それ以外のことには引き続きクラウドツールを使えます。今週、アプリを1つインストールし、モデルを1つ試し、機密の作業を1つ任せてみましょう。あなたのツールキットに常備する価値があるかどうか、すぐにわかるはずです。
