LLMとは何か
LLMは数百億〜数兆のパラメータを持つ超大規模な言語モデルです。
「大規模」とはどれくらいか
LLMは、Transformerというモデルを基盤に、大量のテキストデータで学習した言語モデルです。「大規模」とは、主にモデルのパラメータ数・学習データ量・計算量の3つを指します。初期のLLMでは数百億規模のパラメータが用いられていましたが、現在ではさらに大規模化が進んでいます。
ただし最新モデルの詳細は公開されていないことが多く、単純な比較は難しくなっています。近年は複数の専門モデルを組み合わせるMixture of Experts（MoE）構造が採用されているとされ、単一の巨大モデルとは異なる設計が主流になりつつあります。
Transformerを積み重ねた構造
LLMは、Transformerのデコーダー構造を何層も積み重ねたネットワークです。入力された文章は層を通過するごとに意味的に変換され、最終的に次の単語を予測します。
ここで重要なのがAttentionという仕組みです。これは文章中のどの単語に注目すべきかを動的に判断する機構であり、文脈理解の精度を大きく向上させています。
スケーリング則（Scaling Law）
LLMの性能向上を支えてきたのがスケーリング則です。モデルのサイズ、学習データ量、計算量を増やすことで性能が一定の法則に従って向上することが知られています。
この発見により、モデルを大規模化するアプローチが加速しました。一方で、推論コストも同時に増大するため、現在は性能とコストのバランスをどう取るかが重要な論点となっています。
LLMはどのように学習するか
事前学習とRLHFの組み合わせがLLMを実用化しています。
事前学習 ― 次のトークンを予測する
LLMの学習は大きく2段階に分かれます。第1段階は事前学習（Pre-training）で、インターネット上のテキスト・書籍・論文など数百テラバイト規模のデータを使い、「直前の文脈から次の単語（トークン）を予測する」タスクを何兆回も繰り返します。
このシンプルな「次のトークン予測」を膨大なスケールで繰り返すことで、モデルは文法・事実知識・論理的推論・プログラミングの構文など、テキストに含まれるあらゆる知識とパターンを暗黙的に学習します。事前学習の段階ではまだ「指示に従う」能力はなく、文章の続きを生成するだけですが、この段階で知識の大部分が形成されます。
ファインチューニングとRLHF
事前学習済みモデルをそのまま使っても、ユーザーの質問に丁寧に答えるChatGPTのような動作はしません。第2段階はファインチューニング（Fine-tuning）です。特に「指示に従う」動作を強化するInstruction Tuningでは、「〜を説明してください→〜です」のような指示と回答のペアを大量に用意して追加学習します。
さらにChatGPTを特徴づける手法がRLHF（強化学習による人間のフィードバック）です。複数の回答候補を人間が評価・ランク付けし、その好みを学習した「報酬モデル」を使って、より人間に好まれる回答を生成するよう強化学習します。ChatGPTの回答が丁寧で読みやすい文体になっているのは、このRLHFによる調整の結果です。
トークン化 ― サブワード単位で処理する
LLMはテキストを単語単位ではなくトークン（Token）という単位で処理します。英語では約4文字、日本語では約1〜2文字がトークン1つに相当することが多く、「1,000文字のテキスト ≈ 750トークン」が大まかな目安です。一般的な語彙はそのまま1トークンになりますが、珍しい単語は複数のサブワードに分割されます（例：「ChatGPT」→「Chat」「G」「PT」など）。
トークン数はLLMのAPI利用料金の課金単位でもあるため、コスト管理の観点から重要な概念です。また、LLMには一度に処理できるトークン数の上限（コンテキストウィンドウ）があります。GPT-4oは128,000トークン（約40万字相当）ですが、コンテキストウィンドウ以上の文書は処理できないため、長文を扱う際の設計上の制約となります。
LLMの得意なこと・苦手なこと
LLMの強みと限界を正確に把握することが適切な活用につながります。
得意なタスクとその活用場面
LLMが最も得意とするのは文章の生成・変換・要約です。具体的な業務への応用として、社内報告書のドラフト作成・取引先へのメール文案・会議の議事録要約などが挙げられます。従来は担当者が1時間かけて書いていた文書が、数分でドラフト化できるようになる業務効率化効果は直接的です。
コード自動生成・デバッグもLLMの強みです。プログラミング経験の少ない社員でも、やりたい処理を日本語で説明するだけでPythonやExcelのVBAコードを生成できます。エンジニアにとっても、テストコードの自動生成やデバッグ支援によって開発工数を大幅に削減できます。
アイデア出し・ブレインストーミングでも効果を発揮します。新製品のネーミング案を50個生成する・企画書の切り口を複数提示する・競合との差別化ポイントをリストアップするといった発散思考の補助役として、マーケティング・企画職を中心に活用が広がっています。さらに質問応答として、FAQ対応チャットボットや社内ナレッジ検索への応用も実績が積み重なっています。
ハルシネーションと知識の鮮度問題
LLMの最大のリスクがハルシネーション（Hallucination）です。これは、存在しない事実・誤った数値・架空の人物名などを、あたかも確かな事実であるかのように自信を持って回答する現象です。LLMは「次のトークンとして最も確率の高いもの」を選ぶ仕組みで動作しているため、確率的に「それっぽい」内容が生成されても、それが正確かどうかの保証はありません。
実際のリスクとして特に注意が必要なのは、法律・医療・財務数値などの正確性が重要な用途です。「条文番号が1つ違う」「数字が異なる」「事例が実在しない」といったミスを自信満々に出力することがあります。LLMの回答を最終成果物として使わず、必ず人間が一次情報で検証するプロセスを組み込む必要があります。
もう一つの課題が知識の鮮度（ナレッジカットオフ）問題です。LLMは事前学習データの締め切り日以降の情報を知りません。最新の法改正・競合動向・市場データなどが必要な場合は、RAG（検索拡張生成）で最新の外部情報をリアルタイムに補完する設計が有効です。
複雑な推論・計算への対処法
LLMは厳密な数値計算が苦手です。「1,234,567 × 8,765,432 = ?」のような多桁の掛け算や、複数のステップが絡む数学的証明で誤りが生じやすい傾向があります。これは計算を行う仕組みではなく、「計算結果として妥当なトークン」を確率的に出力する仕組みであるためです。
この課題への対処として有効なのがChain-of-Thought（CoT）プロンプティングです。「ステップごとに考えてください」と指示することで、LLMが思考過程を明示しながら回答するよう促します。段階を踏んで考えることで、複雑な論理推論の精度が大幅に向上することが研究で確認されています。
Function Calling（関数呼び出し）を使えば、LLMが計算の必要な部分をPythonスクリプトやExcelに外部委託することもできます。「複雑な計算はコンピュータに任せ、結果の解釈・文章化をLLMが行う」という分業体制です。さらにAIエージェントと組み合わせることで、LLMが自律的に複数のツールを呼び出しながら多段階のタスクを実行できるようになります。
代表的なLLMの比較
用途とコストに合わせてLLMを選定することが重要です。
主要LLMの特徴比較
現在、ビジネスで利用できるLLMは多数存在します。それぞれ開発元・得意な用途・コスト感が異なるため、自社の要件に合ったモデルを選ぶことが重要です。
| モデル | 開発元 | 特徴 |
|---|---|---|
| GPT系 | OpenAI | 高い汎用性・画像入力対応（マルチモーダル） |
| Claude系 | Anthropic | 安全性重視・長文処理に強い |
| Gemini系 | Google検索・Workspaceと連携 | |
| Llama 敬 | Meta | オープンソース・社内カスタマイズが可能 |
| 軽量モデル（mini等） | OpenAI | 低コスト・高速・用途を絞った活用に向く |
用途によって最適なモデルは異なります。汎用的な文章生成・質問応答にはGPT-4oやClaude 3.5 Sonnetが安定した選択肢です。自社システムへの深い統合や細かいカスタマイズを行いたい場合はオープンソースのLlama 3も有力な候補になります。
選定のポイントと費用感
LLM選定の第一の基準は汎用か特化型かです。まず汎用LLM（GPT-4oなど）で解決できるかを試し、精度や機能が足りない場合にのみ特化型モデルやファインチューニングを検討します。API利用料の参考値として、GPT-4oは入力1Mトークンあたり約5ドル、GPT-4o miniは約0.15ドルと大きな差があります。用途によって高性能モデルと低コストモデルを使い分ける設計が、コスト最適化の鍵です。
オープンソースモデル（Llama 3など）は自社サーバーで動かせるため、クラウドAPIに機密情報を送りたくない企業に向いています。ただし、GPUサーバーの調達・モデルの管理・セキュリティ対応を自社で行う必要があるため、運用コストとエンジニアリング工数を考慮した判断が必要です。
PoC（概念実証）段階では、必ず安価なモデル（GPT-4o miniなど）から試すことを推奨します。多くの用途では安価なモデルで十分な精度が得られることが多く、性能が不足する場合にのみ上位モデルへ移行する戦略がコスト管理の観点から有効です。
まとめ
この記事では、大規模言語モデル（LLM）の構造・学習方法・得意不得意・主要モデルの比較を解説しました。
- LLMはTransformerのデコーダーを積み重ねた超大規模モデルで、事前学習とRLHFの2段階で学習される
- 文章生成・要約・コード生成など幅広いタスクが得意だが、ハルシネーションと知識の鮮度問題に注意が必要
- 複雑な計算や多段階推論にはCoTプロンプティング・Function Calling・AIエージェントとの組み合わせが有効
- 用途とコストに応じてGPT・Claude・Llamaなど複数のモデルを使い分けることが重要
これらを理解することで、LLMを使ったビジネス活用の提案を受けた際に、適切なモデル選定・リスク評価・コスト試算ができるようになります。
コメント