小規模言語モデル(しょうきぼげんごモデル、Small Language Model, SLM)は、言語やテキストの生成を含む、人間の自然言語処理のために設計された生成AI言語モデルである。大規模言語モデル (LLM) と異なり、小規模言語モデルは規模と範囲がはるかに小さい。

概要

大規模言語モデル (LLM) が、その進化により巨大化するうちに、軽量小型なコンパクトモデルを開発する必要に迫られ、そうしたモデルを指す語として「小規模言語モデル」という呼称が、いわばレトロニム的に使われるようになった。このため最新のLLMに比べて技術的制約からサイズが小さかった過去のLLMを「小規模言語モデル」と呼ぶのは適切でない。

小規模言語モデル (SLM) の分類においては、最初からローカル動作を目的に設計された軽量モデル(Gemini Nano、など)を指すのが本来の用法である。しかし生成AI開発企業が、価格・速度競争の宣伝的文脈から、大規模言語モデル (LLM) の高速軽量版(GPT-4o mini、Claude Haikuなど)をSLMとして例示・比較することも少なくない。

また、小規模言語モデル(SLM)は、小規模なパラメータサイズと量子化などの軽量化技術を併用することで、民生用デバイスのメモリ(RAM / VRAM)上で高速に推論を実行できることが最大の特徴である。このため、外部のクラウドサーバに依存せず、インターネットに接続しないローカル環境において、ユーザーのパーソナルコンピュータ(ノートパソコン含む)やスマートフォンといった限られたハードウェア資源で動作させる「ローカルLLM」の用途においても中核的な役割を果たしている。

性能 通常、LLMのトレーニングパラメータは数千億であり、一部のモデルでは1兆パラメータを超えることがある。LLMが膨大なサイズである理由は、大量の情報を抱えることで、より良いコンテンツを生成するモデルであることによる。その分、膨大な計算能力が必須であり、個人がコンピュータ1台だけでGPUを利用して大規模言語モデルをトレーニングすることは不可能である。

一方、小規模言語モデルは、通常数百万から数十億の範囲で、はるかに少ないパラメータを使用しする。これにより、単一のコンピュータやモバイルデバイスなどのリソースが限られた環境でトレーニングやホストを実現可能にしている。

また、特定の分野に範囲を絞り込むことによるメリットがあり、小規模なデータセットでトレーニングすることで「ハルシネーション」を起こしにくくできる。

小規模言語モデルの例

Apple Intelligence Gemini Nano GPT「nano」シリーズ GPT-4.1 nano、GPT-5 nano、など Llama 3.2 - モバイル向け小規模モデル「1B」「3B」がラインナップされている。

脚注

関連項目 言語モデル 大規模言語モデル 生成的人工知能(生成AI) エッジコンピューティング