スマートエイト トップページ
資料ダウンロード無料相談予約はこちら
AI研修・導入の選び方と費用

ローカルLLMとは?クラウドのAIとの使い分け方と必要な機材の目安

公開日:2026/11/14小坂井 聖也の写真執筆・監修:小坂井 聖也
ローカルLLMとは?クラウドのAIとの使い分け方と必要な機材の目安

はじめに

社外秘の資料をAIで扱いたいけれど、ChatGPTのようなクラウドのAIに入れてよいのか迷ったことはないでしょうか。そこで名前が挙がるのが、自社のパソコンやサーバーの中でAIを動かす「ローカルLLM」です。

本記事では、ローカルLLMとは何か、クラウドのAIとどう使い分けるか、動かすのにどれくらいの機材が要るかを、非エンジニアの方向けに整理します。導入のコマンド操作は扱いません。

結論として、法人向けのクラウドのAIで足りる業務が大半です。ローカルLLMにするのは、「契約で社外に送れない」「ネットにつながない場所で使う」「同じ処理を大量に回す」の3つのどれかに当たる業務だけに絞るのが近道です。

本記事は、2026年11月14日時点の各社の公式の資料をもとにしています。メモリの数字はモデルを読み込むための目安で、使い方によって増えます。

ローカルLLMとは|社内のパソコンやサーバーで動かすAI

ローカルLLMとは、文章を読み書きするAIを、自社のパソコンやサーバーの中で動かす使い方です。ChatGPTやGeminiのようなクラウドのAIとは、AIが計算する場所が違います。

クラウドのAIは社内のパソコンからインターネットを通ってAIの会社のサーバーで答えを作り、ローカルLLMは社内の自社のパソコンやサーバーの中で質問と資料から答えを作る違いの図

クラウドのAIとの違いは「どこで計算するか」

クラウドのAIでは、入力した質問や資料がインターネットを通ってAIの会社のサーバーへ届き、そこで答えが作られて返ってきます。手元のパソコンは、画面を出すだけです。

ローカルLLMでは、AIの本体を自社の機械に置き、質問も資料もその機械の中で処理します。ネットにつながっていなくても答えが返るので、資料が社外のサーバーを通りません。

動かすのは公開されているAIのモデル

ChatGPTやClaudeのAIは、各社のサーバーの上で提供されています。ローカルLLMで動かすのは、作り手が中身を*オープンウェイトとして公開したモデルです。

公開モデルの代表が、OpenAIの*gpt-ossです。商用でも使える条件で公開されており、Googleなどほかの会社も、パソコン向けの小さな版から大きな版までを公開しています。

モデルごとに使ってよい条件が決まっているので、会社で使うときは条件の文書を先に読みます。条件が許せば、モデルそのものに利用料はかかりません。

得るものはデータの置き場所、払うものは機材と手間

ローカルLLMで得られるのは、資料を社外のサーバーに送らずにAIを使えることです。取引先との約束や社内の規程で、クラウドに入れられない資料も扱えるようになります。

その代わり、AIを動かす機材を自社で用意し、モデルの入れ替えや不具合への対応も自社で受け持ちます。答えの質も、使うモデルと機材の大きさで決まり、クラウドの最新のAIに届かない場面があります。

*オープンウェイト:AIの頭脳にあたる中身のデータを公開し、誰でも手元の機械に入れて動かせるようにしたモデル。使ってよい条件はモデルごとに違う。 *gpt-oss:OpenAIが2025年に公開した、手元の機械で動かせる文章のAIのモデル。小さい版と大きい版の2つがある。

クラウドAIとの使い分け|ローカルにする業務を決める3つの問い

ローカルLLMを選ぶ前に、法人向けのクラウドのAIで足りないかを確かめます。多くの業務はクラウドで足り、ローカルにすべき業務は3つの問いで絞れます。

AIで扱いたい業務を3つの問いで分ける図。契約や規程で社外に送れない、ネットにつながない場所で使う、同じ処理を毎日大量に回すのどれかが「はい」ならローカルLLM、すべて「いいえ」なら法人向けのクラウドのAI

法人向けのクラウドのAIは、学習に使うかの約束が個人向けと違う

「クラウドのAIに入れた資料は、AIの学習に使われる」と考えて、ローカルLLMを調べ始める方は少なくありません。どこまでの情報をAIに渡してよいかは、研修の後のアンケートにも書かれる問いです。

「個人情報など、どこまで渡してもいいのか、または対策するべきことなどを具体的に教えていただけますと助かります。」

— 建設・不動産の会社の受講者(研修アンケートより、2026年10月)

法人向けの契約では、入れた内容の扱いが個人向けと違います。たとえばGoogle Workspace の生成AIは、顧客のデータを事前の許可なくモデルの学習に使わないと公式に書いています。使っているサービスの法人向けの約束を、契約の文書で確かめてから判断します。

社内の議事録の要約や、公開前の企画書の推敲のような業務は、法人向けの契約のクラウドのAIで足ります。最新のAIの答えの質と、機材の要らない手軽さを、そのまま使えます。

ローカルにすべき業務を見分ける3つの問い

クラウドで足りない業務は、次の3つの問いのどれかに「はい」となる業務です。

  • 契約や規程で、資料を社外のサーバーへ送れないか
  • ネットにつながない場所や機械で使うか
  • 同じ処理を毎日大量に回し、クラウドの利用料が膨らむか

1つ目は、取引先から預かった契約書や図面のように、秘密保持の約束で第三者のサーバーに置けない資料です。学習に使わない約束があっても、社外に送ること自体が約束に反するなら、クラウドは選べません。

2つ目は、工場の検査の端末や、外のネットから切り離した社内の網の中で使う場面です。3つ目は、問い合わせの仕分けのように1日に何千件も同じ処理を回し、使った分だけ払うクラウドの料金が積み上がる場面です。

迷う業務は「止まっている理由」で決める

3つの問いで迷ったら、その業務がいまAIで止まっている理由を見ます。「社内の決まりで入れられない」なら、まず法人向けの契約で決まりが変わるかを情報システムの担当者に確かめます。

取引先から預かった契約書の要約を例にすると、秘密保持の契約で第三者への提供を禁じているなら、ローカルLLMの候補になります。禁じていなければ、法人向けのクラウドのAIで始めてかまいません。

必要な機材の目安|モデルの大きさとメモリ

ローカルLLMに要る機材は、動かすモデルの大きさでほぼ決まります。小さなモデルなら会社のノートパソコンでも動き、大きなモデルには専用のサーバーが要ります。

メモリ16GBの会社のノートパソコンで小さなモデル、答えが足りなければメモリ80GBのAI向けの計算部品を積んだサーバーで大きなモデル。どちらも入れ替え・権限・問い合わせの担当者が要る

メモリの目安はモデルの大きさで決まる

AIのモデルは、読み込んだ中身をメモリに置いて計算します。そのため、手元の機械のメモリがモデルの大きさに足りるかが、動くかどうかの第一の関門です。

Googleは、公開モデル*Gemma 4の各モデルを読み込むのに要るメモリの目安を公式の資料で表にしています。中身を4ビットに*量子化した版で比べると、次のとおりです。

モデル

読み込みに要るメモリの目安(4ビット)

Gemma 4 E4B

4.5GB

Gemma 4 12B

6.7GB

Gemma 4 26B A4B

14.4GB

Gemma 4 31B

17.5GB

この数字はモデルの中身だけの分で、動かす道具の分や、長い資料を読ませるほど増える会話を覚えておくためのメモリが別に要ります。メモリ16GBのパソコンなら、12Bの6.7GBは余裕をもって収まります。26B A4Bの14.4GBは残りが2GBもなく、31Bの17.5GBは数字の上でも16GBを超えます。

大きなモデルには専用の計算部品を積んだサーバーが要る

gpt-ossは、小さい版の20bが16GBのメモリに収まり、大きい版の120bは、メモリ80GBのAI向けの計算部品を1枚積んだサーバーで動く設計です。部署で共有して使うなら、パソコン1台ではなくサーバーを置く形になります。

契約書の要約のように、決まった形の文書を読んで要点を出す業務なら、まず小さなモデルで答えの質を確かめます。足りなければ、大きなモデルとサーバーへ段階を上げます。

機材より重いのは、動かし続ける手間

機材の費用は買うときにまとまって出ますが、ローカルLLMでは動かし続ける手間が毎月続きます。新しいモデルが出たときの入れ替え、使う人の権限の管理、答えがおかしいときの問い合わせ先を、社内の誰かが受け持つ必要があります。

この手間を受け持てる担当者がいるかを、機材より先に決めます。担当者を置けない会社は、ローカルLLMを組み込んだ製品を買う選び方もあります。

*量子化:AIの中身の数字を粗く丸めて、データの大きさを小さくする処理。必要なメモリが減る代わりに、答えの質が少し落ちることがある。 *Gemma 4:Googleが公開している、手元の機械で動かせるAIのモデル。スマホ向けの小さな版から、サーバー向けの大きな版まである。

使い分けの決め方|1つの業務でクラウドと比べる

ローカルLLMにするかどうかは、机の上の比較だけでは決まりません。業務を1つ選び、同じ資料でクラウドとローカルの答えを比べてから線を引きます。

使い分けを決める3つの手順。外に出せず止まっている業務を1つ選び、同じ資料でクラウドとローカルの答えを比べ、答えの質と運用の手間で線を決める

外に出せずに止まっていた業務を1つ選ぶ

預かった書類を社外に出す前提がきつい、という声は、商談でも聞きました。

「やっぱり機密書類ばっかりなんですよ…データを外部に出すっていう前提に立っちゃうとウチとしてはきついなと思ってるんです」

— 文書の電子化の会社の責任者(商談より、2026年4月)

最初に選ぶのは、2章の3つの問いに「はい」となり、いまはAIを使えずに人の手で回している業務です。取引先から預かった契約書の要約は、その代表です。

業務を1つに絞るのは、答えの質を比べる物差しを決めやすいからです。「要約に重要な条項の抜けが無いか」のように、1つの業務なら合格の線を言葉にできます。

小さな道具か製品で試す

試すだけなら、モデルを入れて動かす無料の道具で足ります。*OllamaはMac・Windows・Linuxで動き、Gemma 4やgpt-ossのような公開モデルを手元で呼び出せます。

画面の操作だけで始めたいなら、パソコンの中だけでAIを動かす道具を紹介したStrataの使い方|社外秘の資料をパソコンの中でAIに読ませる4手順が参考になります。

議事録のように用途が決まっている業務は、ローカルLLMを組み込んだ製品も出ています。録音を社外の生成AIに送らない議事録の例は、Athena Minutesでできること|社外に送らない議事録と導入前の3点で紹介しています。

答えの質と手間を並べて線を決める

試した後は、ローカルの答えが合格の線に届いたかと、動かし続ける手間を受け持てるかの2つで決めます。どちらかが足りなければ、その業務はクラウドのまま、資料の扱いの決まりを見直す道を選びます。

かかった時間と費用に対して何が変わったかを測る考え方は、生成AIの費用対効果を測る4つの問い|OpenAI CFOの採点表の使い方にまとめています。ローカルLLMでも、止まっていた業務がどれだけ動いたかを数字で残すと、次の業務へ広げる判断がしやすくなります。

*Ollama:公開されているAIのモデルを、自分のパソコンに入れて動かすための無料の道具。プログラムは公開されている。

よくある質問|ローカルLLMを調べる人が迷う所

ローカルLLMは無料で使えますか?

モデルそのものは、gpt-ossやGemma 4のように無料で公開されている物が多くあります。ただし、動かす機材と、入れ替えや権限の管理にかかる人の手間は費用になります。使ってよい条件はモデルごとに違うので、会社で使う前に条件の文書を確かめます。

ローカルにすれば安全ですか?

資料が社外のサーバーを通らない点では、扱いの線を引きやすくなります。一方で、AIを動かすパソコンやサーバーの管理、使える人の権限、出力の持ち出しは自社の責任になります。ローカルにしただけで安全とは言えないので、社内の決まりとセットで使います。

Claude CodeでローカルLLMを使えますか?

使えます。Ollamaは、Claude Codeを手元のモデルやOllamaのクラウドのモデルにつなぐ仕組みを用意しています。答えを考える頭脳はつないだモデルに替わるので、作業の質はそのモデルの力で決まります。

さいごに

ローカルLLMは、データを社外に出さずにAIを使える代わりに、機材と動かし続ける手間がかかる選び方です。法人向けのクラウドのAIで足りる業務が多く、ローカルにするのは「契約で送れない」「ネットにつながない」「大量に回す」の3つに当たる業務に絞れます。

まずは、外に出せずに止まっている業務を1つ選び、小さなモデルで答えの質を確かめてみてください。どの業務をクラウドで、どの業務を社内で動かすかの線引きは、スマートエイトの生成AI研修でも扱っています。

※生成AI研修資料/導入事例も無料ダウンロードいただけます。

スマートエイト トップページ