専門家解説 #ローカルLLM #導入事例 #セキュリティ #議事録

ローカルLLMの企業導入事例｜情報漏洩事故から学ぶ判断基準とセキュアな運用

公開日 ／ 読了時間 約15分 ／ 執筆 代表取締役 橋本 ／ カテゴリ 専門家解説
社内で完結するローカルLLMのイメージ。議事録・図面・医療情報・社内文書を社内のサーバーでAI処理し、パブリッククラウドには出さない

ローカルAI議事録

録音から文字起こし、要約、議事録の作成まで、社内のPC・サーバーの中で完結します。

サービスを見る →

※料金・制度・各社の取り組みは2026年10月時点の公開情報にもとづきます。

ChatGPT などのクラウド型AIは便利ですが、顧客情報、図面、カルテ、会議の録音のように社外に出せないデータを抱える会社では、使ってよいかの判断が止まりがちです。その選択肢として注目されているのが、社内のサーバーやPCでAIを動かすローカルLLMです。

この記事では、国内でローカルLLMを導入した銀行・病院・メーカーの事例を、出典つきで整理します。そのうえで、クラウドAIで実際に起きた情報漏洩、事例に共通する「最初の1業務」、導入するかどうかの判断基準、閉域にしても必要になる運用ルールまでを順に解説します。

TL;DR / この記事の要点
  • 国内のローカルLLM導入は、データを外に出しにくい金融と医療が先行している
  • 公開事例の多くは、退院サマリー、行内規定への回答、議事録のような型の決まった文書から始めている
  • クラウドAI・閉域クラウド・ローカルLLMの3つは、データの機密度と用途で使い分けるのが現実的
  • 社内に閉じても安全とは限らない。認証なしでネットに公開されたローカルLLMのサーバーが1,100台以上見つかった調査もある
  • 判断がつかないときは、最初の1業務を決めて小さく試すのが近道

ローカルLLMとは（30秒でわかる要点）

ローカルLLMは、大規模言語モデル（LLM）を自社のサーバー、PC、または自社が管理する閉じたネットワークの中で動かす使い方です。入力した文章も、AIの回答も、外部のAIサービスに送られません。

項目クラウドAI（一般的な使い方）ローカルLLM
AIが動く場所AI事業者のサーバー自社のサーバー・PC
入力データの行き先インターネット経由で事業者へ社内で完結
使えるモデル最新・最大級のモデル公開モデル（オープンウェイト）や国産モデル
初期費用ほぼ不要GPUサーバーなどの設備が必要
運用事業者が行う自社（または委託先）が行う

モデルの種類、必要なPCのスペック、個人で試す方法は、ローカルLLMとは？できること・始め方の解説で詳しく説明しています。この記事では、企業として導入するかに絞って話を進めます。

企業がローカルLLMを選ぶ理由：クラウドAIで実際に起きた情報漏洩

ローカルLLMが検討される理由は、性能よりもデータをどこに送るかです。実際に起きた事故を見ると、その理由がわかります。

会議の録音をAIに入力してしまった例

2023年、韓国のサムスン電子では、社内で ChatGPT の利用を認めてから約20日の間に、情報流出が3件起きたと報じられました。1件は社内のソースコードの入力でした。もう1件は、録音した会議の内容を、議事録を作るために ChatGPT に入力したものでした。同社はその後、社内での生成AIの利用を禁止しています。

この事例が示しているのは、悪意がなくても、議事録づくりのような日常業務が流出の入り口になるということです。

共有した会話が検索結果に出てしまった例

2025年には、ChatGPT の会話を共有するリンク機能で、検索エンジンからの表示を許可するオプションが問題になりました。報道では、4,500件を超える会話が検索エンジンに登録されていたとされています。OpenAI は2025年7月31日にこの機能を削除しました。利用者が自分で設定した機能でも、意図しない公開につながることがあります。

公的機関も「AIの利用」をリスクとして挙げている

  • IPA（情報処理推進機構）が2026年1月に発表した「情報セキュリティ10大脅威 2026」の組織編では、「AIの利用をめぐるサイバーリスク」が初めて3位に入りました。
  • 個人情報保護委員会は2023年6月、生成AIに個人情報を入力する事業者に対し、利用目的の範囲内かを確認するよう注意を呼びかけています。

なお、クラウドAIのすべてが危険というわけではありません。たとえば OpenAI の API は、2023年3月1日以降に送られたデータを、原則としてモデルの学習に使わないと公表しています（不正利用の監視のため、最大30日間は保存されます）。問題になるのは、どのサービスに、どのデータを、誰が入れてよいかが決まっていない状態です。

生成AIや情報システムで起きた事故の事例は、当社のセキュリティ事故DBにまとめています。自社と近い業種・業務の事故を確かめてから判断すると、社内の説明もしやすくなります。

国内のローカルLLM導入事例【業界別】

公開情報で確認できた国内の事例です。効果の数値は、各社や提供ベンダーの発表によるものです。

国内のローカルLLM導入事例を業界別に整理した図。金融はあおぞら銀行、医療は織田病院・那須赤十字病院・三重大学、製造はパナソニックグループ、議事録は福井信用金庫
業界組織使い方構成公表された効果・状況
金融あおぞら銀行（neoAIと共同）行内データで学習させた銀行専用のLLM行内のオンプレミス環境での活用を目指して開発難しい質問への回答精度が従来比130%（社内の評価）
医療織田病院（佐賀県）退院時の看護サマリーの下書きを自動作成院外と通信しないオンプレミス環境。電子カルテと連携看護サマリーの作成時間を54.2%削減
医療那須赤十字病院（栃木県）退院サマリーの下書きを自動作成院内のGPUサーバー＋700億パラメータのLLM＋Dify。電子カルテと接続2025年4月の発表時点で、一部の医師が実務で利用開始
医療三重大学医学部附属病院退院サマリー作成に電子カルテの要約を使う実証70億パラメータの軽量LLMを院内ネットワークに構築実証段階（2024年11月発表）
製造パナソニックグループ社内情報を学習させたグループ専用LLMで業務を支援1,000億パラメータの自社専用モデル。エッジやオンプレミスへの展開を方針として発表部署や工場へのトライアル導入（2025年6月時点の紹介）
金融（議事録）福井信用金庫会議の議事録を、録音から文字起こしまで社外に出さずに作成オフラインで動く音声認識アプリ（LLMではなく音声認識）議事録の作成時間が半分に（以前は2〜3日かかっていた）

金融：銀行が自前のLLMを持つ理由

あおぞら銀行は neoAI と組み、行内データを追加で学習させた「あおぞらLLM（仮称）」を開発しました。両社は、クラウド経由のAPIでは満たせない厳しいセキュリティ水準を、オンプレミスで実現することを狙いに挙げています。社内の評価では、難しい質問に対する回答精度が従来の1.3倍になったと発表しています。

銀行では、顧客情報や行内規定のように外に出せない情報が多く、しかも「規定のこの条文はどう読むか」といった問い合わせが日常的に発生します。社内文書の検索と回答が、ローカルLLMの最初の用途として選ばれやすい理由です。

医療：退院サマリーに用途が集中している

医療では、3つの病院がいずれも退院サマリー（入院中の経過をまとめる文書）から始めています。

  • 織田病院：オプティムのLLMを電子カルテと連携させ、2024年3月に試験導入しました。個人情報を守るため、院外と通信しないオンプレミス環境で動かしています。看護サマリーの作成時間は54.2%削減され、この仕組みは2025年1月に製品として販売が始まりました。
  • 那須赤十字病院：リコーの700億パラメータのLLMと、AIアプリを作るためのツール「Dify」を院内のGPUサーバーに置き、電子カルテとつないで退院サマリーの下書きを作ります。2025年4月30日の発表時点で、一部の医師が実務で使い始め、順次院内に広げる計画とされています。
  • 三重大学医学部附属病院：NTT西日本と組み、70億パラメータの軽量LLM「tsuzumi」を院内ネットワークに構築して、年間約1.5万件の退院サマリー作成を効率化できるかを検証しています。軽いモデルなので病院の中に置ける、という点が選ばれた理由です。

カルテは法律上も特に慎重な扱いが求められる情報です。そのうえで、退院サマリーは書く項目が決まっていて、医師が最後に確認する文書でもあります。AIの下書きを人が直す運用にしやすいことが、医療で用途が集中している理由だと考えられます。

製造：設計・製造の知識を社内に閉じて使う

パナソニックホールディングスは2024年7月、ストックマークと組み、ストックマークの1,000億パラメータのLLMにグループの社内情報を追加で学習させた「Panasonic-LLM-100b」を開発すると発表しました。設計や製造の業務での活用を狙い、エッジやオンプレミスの領域にも適用範囲を広げる方針です。経済産業省が2025年6月に紹介した時点では、さまざまな部署や工場にトライアル導入されているとされています。

製造業では、図面、仕様書、品質データ、取引先との技術資料など、取引先との契約で社外に出せない情報が業務の中心にあります。

議事録：先に「社外に出さない」を実現してきた分野

議事録は、ローカルLLMが広がる前から「社外に出さない」仕組みが求められてきた分野です。福井信用金庫は、ネットにつながずに動く音声認識アプリを導入し、録音を手で書き起こしていた議事録の作成時間を半分にしました。以前は長い会議だと2〜3日かかっていたとされています。

この事例はLLMではなく音声認識ですが、金融機関が会議の内容を外に出さないことを前提に仕組みを選んでいる点は、ローカルLLMの導入と同じ考え方です。現在は、文字起こしに加えて要約までを社内で完結させる製品も出てきています。

事例に共通する3つのこと

業界は違っても、公開されている事例にはいくつか共通点があります。以下は事例からの当社の分析です。

共通点事例での現れ方自社で導入するときの意味
最初の1業務は型の決まった文書退院サマリー、行内規定への回答、議事録「何でも聞けるAI」より、成果物の形が決まった業務から始めると効果を測りやすい
既存のシステムと社内でつなぐ電子カルテ、行内の文書AIの性能よりも、社内のデータに安全につなげるかが成否を分ける
AIが下書きし、人が確認する医師・看護師が最後に仕上げる誤りが残る前提で、確認する人と手順を決めておく

逆に、「全社員が何でも聞けるローカルLLM」から始めた事例は、今回調べた公開情報の中には見当たりませんでした。ローカルLLMは設備と運用の手間がかかるぶん、効果が見えやすい1業務に絞って始めるのが現実的です。

導入するかの判断基準：クラウドAI・閉域クラウド・ローカルLLMの選び方

「クラウドかローカルか」の二択で考えると判断を誤りやすくなります。実際には、次の3つから業務ごとに選びます。

クラウドAIとローカルLLMの使い分けの判断図。データの機密度と社内で閉じる必要性で、クラウドAI・閉域クラウド・ローカルLLMを配置し、ローカルLLMを具体検討する5つのサインを示す
選択肢どういうものか向いている業務注意点
クラウドAI（法人プラン・API）AI事業者のサービスを、学習に使われない契約や設定で使う公開情報や社内の一般的な文書の作成・要約どのデータを入れてよいかの社内ルールが必須
閉域クラウドクラウド上で、専用の閉じたネットワーク経由でAIを使う社外秘だが、契約上クラウドに置くことは許される情報使えるモデルや地域（リージョン）が限られることがある
ローカルLLM自社のサーバー・PCでAIを動かす契約・法令・社内規程で社外に出せない情報（図面、カルテ、顧客情報、役員会の議事録など）設備費・運用人員・モデル更新の手間がかかる

判断の手がかりとして、次の5つを確認してください。2つ以上当てはまるなら、ローカルLLMを具体的に検討する価値があります。

確認すること当てはまる場合
扱うデータを、契約・法令・社内規程で社外に出せないローカルLLMが第一候補
データを国内に置くことが求められている閉域クラウド（国内リージョン）かローカルLLM
誰が何を入力したかの記録（監査ログ）が求められるどの方式でもログの取り方を先に決める
インターネットにつながらない環境（工場・院内など）で使いたいローカルLLM
毎月の利用量が多く、従量課金が読めないローカルLLMの費用を比較する価値がある

最初の1業務に議事録が向いている理由

事例の共通点と事故の例を合わせると、議事録はローカルLLMの最初の1業務として条件がそろっています。

  1. 流出したときの影響が大きい：経営会議、人事、取引先との交渉など、会議には機密が集まります。サムスン電子の例でも、会議の録音が流出の入り口になりました。
  2. 型が決まっている：日時、参加者、決定事項、宿題という形がほぼ決まっていて、AIの出来を確かめやすい業務です。
  3. 効果を時間で測れる：福井信用金庫では、作成時間が半分になりました。1回あたりの作成時間×会議の数で、効果を事前に見積もれます。
  4. 全部署にある：特定の部署だけでなく、全社に広げやすい業務です。

カトルセでは、録音から文字起こし、要約、議事録の作成までを社内で完結させるローカルLLM議事録サービスを提供しています。議事録の自動化や社内文書の検索を、社内のデータとどうつないで構築したかは、議事録自動化・RAG・ローカルLLMのAI開発事例で構成ごとに紹介しています。

費用・必要なスペック・期間の目安

費用と期間

公開されている価格の例として、インテックは2026年1月に、GPUサーバー、LLM、社内文書を検索して回答する仕組み（RAG）を1つにまとめたローカルLLMの導入支援を始めました。参考価格は500万円（税別）から、最短1か月で構築するとしています。リコーも、GPUサーバーにLLMとDifyを載せた「オンプレLLMスターターキット」を2025年に発表しています。

必要なスペックの目安

ローカルLLMに必要なGPUのメモリは、おおよそ「モデルのパラメータ数×1パラメータあたりのデータ量」で見積もれます。

モデルの大きさ16ビットのまま動かす場合4ビットに圧縮（量子化）した場合置き場所の例
70億パラメータ級約14GB約4〜5GB高性能なPC、小型のサーバー
300億パラメータ級約60GB約16〜20GBGPUを積んだサーバー
700億パラメータ級約140GB約35〜40GB複数GPUのサーバー

※推論（使うだけ）の場合の目安です。長い文書を一度に読ませる、同時に使う人が多いといった条件では、さらにメモリが必要です。

PC1台・部署用の小型GPUサーバー・全社用GPUサーバー＋RAG・クラウドGPUの4つの構成ごとに、2026年10月時点の機材と構築の価格を並べたローカルLLMのオンプレ構成と費用の目安も公開しています。見積もりを取る前の比較に使えます。

三重大学の事例のように、70億パラメータ級の軽量モデルなら院内のネットワークに置けます。一方、那須赤十字病院の事例は700億パラメータ級で、専用のGPUサーバーを使っています。業務に必要な精度を満たす、いちばん小さいモデルから試すのが費用を抑えるコツです。

導入までの流れ

  1. 業務を1つ決める：議事録、社内規定への回答など、成果物の形が決まった業務
  2. データの扱いを決める：どのデータを、誰が、どこまで使ってよいか
  3. 小さく検証する：PC1台や検証用サーバーで、精度と所要時間を測る
  4. 本番の方式を決める：ローカル、閉域クラウド、クラウドのどれにするかを検証結果で判断する
  5. 運用ルールを整えて広げる：次の章のチェックリストを満たしてから対象を広げる

閉域でも事故は起きる：セキュアな運用のチェックリスト

「社内で動かしているから安全」とは限りません。

Cisco Talos が2025年9月に公表した調査では、ローカルLLMを動かす定番ツール「Ollama」のサーバーが、インターネットから誰でも接続できる状態で1,100台以上見つかりました。そのうち約2割は、実際にモデルが動いていたとされています。Ollama は手元で使う前提のため、標準では認証の仕組みを持ちません。設定ひとつで外から使える状態になります。

ローカルLLMの安全な運用チェックリスト。公開範囲、閲覧権限、操作ログ、データ持ち出し、更新管理、人の確認の6項目

閉域で動かす場合も、次の項目は導入前に決めておきます。

項目起きやすい事故決めておくこと
ネットワークの公開範囲検証用のサーバーが、外部から接続できる状態のまま放置される社内ネットワークからのみ接続する。外から使うなら認証を前に置く
閲覧権限人事や役員会の議事録が、AI経由で全社員から検索できてしまう文書ごとのアクセス権を、AIの検索・回答にも引き継ぐ
操作ログ誰が何を入力・出力したか後から追えない入力・出力・利用者を記録し、保存期間を決める
データの持ち出しAIが作った要約をそのまま社外にメールしてしまう出力物の扱いを、元の文書と同じ機密区分にする
モデルとソフトの更新脆弱性のある古いバージョンを使い続ける更新の担当者と頻度を決める
人の確認AIの誤りがそのまま正式な文書になる誰が確認して確定するかを業務ごとに決める

それぞれの項目でどんな事故が実際に起きたかは、当社のセキュリティ事故DBで確認できます。社内ルールの作り方は、生成AIの社内ガイドラインの作り方を解説した記事も参考にしてください。経済産業省と総務省の「AI事業者ガイドライン」も、AIを使う企業が備えるべき体制を示しています。

自社で判断・運用できないときは

ローカルLLMの導入では、技術よりも「どの業務を、どのデータで、どの方式で動かすか」の判断に時間がかかります。社内にAIに詳しい担当者がいない場合は、外部の専門家と一緒に次のことを決めると進めやすくなります。

  • クラウドAIとローカルLLMの線引き（業務・データごと）
  • 最初の1業務の選定と、検証の設計
  • 社内ガイドラインと運用ルールの作成
  • 検証結果をもとにした本番方式と予算の判断

カトルセのAI顧問では、月額の伴走で、こうした判断と社内展開を支援しています。

よくある質問

ローカルLLMと、クラウドの閉域サービスは何が違いますか？
閉域サービスは、AI事業者のクラウドを専用の閉じたネットワーク経由で使うもので、AIが動く場所は事業者側です。ローカルLLMは、AIそのものが自社のサーバーやPCで動きます。契約上「クラウドに置くこと自体が許されない」データを扱うならローカルLLM、「インターネットを通らなければよい」なら閉域サービスも候補になります。
中小企業でもローカルLLMを導入できますか？
できます。70億パラメータ級の軽量モデルなら、高性能なPCでも動きます。最初から大きなサーバーを用意せず、議事録などの1業務をPCで試し、効果を確かめてから広げる方法がおすすめです。
ローカルLLMは ChatGPT より精度が落ちますか？
一般的な質問への回答では、最新のクラウドAIのほうが高性能なことが多いです。ただし、社内文書の検索と回答、議事録の要約のように用途を絞れば、実用的な精度に届く例が増えています。事例でも、社内データを追加で学習させたり、社内文書を検索させたりして精度を高めています。
社内のサーバーに置けば、情報漏洩の心配はありませんか？
なくなりません。外部から接続できる状態のまま放置されたサーバーや、閲覧権限のない人が機密文書をAI経由で検索できてしまう設定など、ローカルでも事故は起きます。この記事のチェックリストを導入前に確認してください。
議事録だけ先に社内で完結させることはできますか？
できます。録音、文字起こし、要約、議事録の作成までを社内のPCやサーバーで行う製品・サービスがあります。全社のAI基盤を作る前に、議事録だけ先に始める会社も少なくありません。
導入前に決めておく社内ルールは何ですか？
最低限、次の4つです。どのデータをどのAIに入れてよいか、利用者と権限の範囲、操作ログの保存期間、AIの出力を誰が確認して確定するか。

まとめ

  • ローカルLLMの国内導入は、データを外に出せない金融と医療が先行し、退院サマリーや行内規定への回答のような型の決まった文書から始まっている
  • 判断は「クラウドかローカルか」ではなく、データの機密度と用途ごとに、クラウドAI・閉域クラウド・ローカルLLMから選ぶ
  • 社内で動かしても事故は起きる。公開範囲、閲覧権限、ログ、更新、人の確認を導入前に決めておく

最初の1業務を決めて小さく試すことが、いちばん確実な進め方です。

自社の状態を確かめる

ローカルLLMを入れるか、クラウドAIの使い方を整えるかは、今の社内でAIがどこまで使われているかで変わります。生成AI活用レベル診断（10問・無料）で、自社がどの段階にいるかと、次にやるべきことが分かります。

出典

SHARE /
X f L
SUPERVISOR / 監修者

この記事の監修者

K.H

橋本 健太郎

株式会社カトルセ 代表取締役

生成AI研修・AI開発・AI顧問・PM/PMO支援を提供。累計2,000名以上のAI研修を支援し、大手企業の生成AI活用、ローカルLLM／RAG／AIエージェント導入、業務改善プロジェクトに携わる。実務に直結する「使えるAI活用」を一貫して伝えている。

RELATED ARTICLES

関連する記事

記事一覧を見る →
専門家解説
2026.06.22·17min

ローカルLLMとは？Gemma 4でできること・企業導入メリット・セキュアなAI活用方法を解説

代表取締役 橋本
専門家解説
2026.09.21·12min

ローカルLLMの企業導入で、最初に決めること

代表取締役 橋本
専門家解説
2026.10.09·35min

情報漏えいの原因と事例2026｜事故268件のDBで見る傾向と対策

代表取締役 橋本