AIの軽量化・省電力を実現する生成AI再構成技術を開発し、富士通の大規模言語モデル「Takane」を強化

メモリ消費量を最大94%削減する1ビット量子化による軽量化で、世界最高の精度維持率89%・推論3倍速を達成当社は、AIサービス「Fujitsu Kozuchi」のコア技術として、大規模言語モデル（以下、LLM）の軽量化・省電力を実現するAI軽量化技術である生成AI再構成技術（以下、本技術）を開発し、当社のLLM「Takane」を強化することに成功しました。本技術は、AIの思考の基となる各ニューロン間の結合に割り当てられる重みを極限まで圧縮する世界最高精度の量子化技術（注1）と、軽量化と元のAIモデルを超える精度を両立させた世界初（注2）の特化型AI蒸留技術（注3）の2つのコア技術からなります。本技術のうち量子化技術を「Takane」に適用することで、1ビット量子化（メモリ消費量最大94%削減）で、量子化前と比較して世界最高（注4）の精度維持率である89%と、量子化前の3倍の高速化を実現しました。量子化における従来の主流手法（GPTQ）（注5）の精度維持率は20%以下であり、それを大きく上回るものです。これにより、ハイエンドのGPU4枚を必要とする大型の生成AIモデルを、ローエンドのGPU1枚で高速に実行することが可能となりました。本技術による圧倒的な軽量化は、スマートフォンや工場の機械といったエッジデバイス上でのAIエージェントの実行を可能にします。これにより、リアルタイム応答性の向上とデータセキュリティの強化、そしてAI運用における抜本的な省電力化を実現し、サステナブルなAI社会に貢献します。当社は、量子化技術を適用した「Takane」のトライアル環境を2025年度下期（注6）より順次提供を開始します。さらにCohere社の研究用オープンウェイト「Command A」を本技術により量子化したモデルを、Hugging Face（注7）を通じて本日より順次公開します。当社は今後も、生成AIの能力を飛躍的に高めると同時に、その信頼性を保証する研究開発を推進することで、お客様や社会が直面するより困難な課題の解決に貢献し、生成AI活用の新たな可能性を切り拓いていきます。背景近年、生成AIは自律的にタスクを実行するAIエージェントへと進化し、その産業実装が急速に進む一方、基盤となるLLMは大規模化が進み、高性能なGPUを多数必要とすることから、開発・運用コストの増大や高い消費電力による環境負荷が大きな課題となっています。また、企業が生成AIを業務で本格的に活用するためには、汎用的なモデルをそのまま利用するのではなく、特定の業務に合わせて高精度化することや、工場や店舗などのエッジデバイスで利用するための軽量化が不可欠となっています。生成AI再構成技術を構成する2つのコア技術AIエージェントが実行するタスクの多くは、LLMが持つ汎用的な能力のごく一部しか必要としません。今回開発した生成AI再構成技術は、LLMの設計において、学習や経験、環境の変化に応じて神経回路を組み替え、特定のスキルに特化していく人間の脳の再構成の能力から着想を得ています。汎用的な知識を持つ巨大なモデルから、特定の業務に必要な知識だけを効率的に抽出し、軽量・高効率で信頼性の高い専門家の脳のように特化したAIモデルを創出します。これを実現するのが、本技術の以下の2つのコア技術です。1.AIの思考を効率化し、消費電力を削減する量子化技術本技術は、生成AIの思考の基となる膨大なパラメータの情報を圧縮し、大幅に生成AIモデルの軽量化・省電力化と高速化を実現します。従来手法では、LLMのような層が多いニューラルネットワークにおいて、量子化誤差が指数関数的に蓄積することが課題でした。そこで、当社は理論的洞察に基づき、層をまたいで量子化誤差を伝播させることで増大を防ぐ新たな量子化アルゴリズム（QEP：Quantization Error Propagation）を開発しました。さらに、当社が開発した大規模問題向けの世界最高精度の最適化アルゴリズムであるQQA（注8）を活用することで、LLMの1ビット量子化を実現しました。[画像1: https://prcdn.freetls.fastly.net/release_image/93942/457/93942-457-f2de0de6ef384b077c6a797a1ad105d0-980x638.png?width=536&amp;quality=85%2C75&amp;format=jpeg&amp;auto=webp&amp;fit=bounds&amp;bg-color=fff ]量子化技術の概要2. 専門知識を凝縮し、精度を向上させる特化型AI蒸留技術本技術は、脳が必要な知識を強化し、不要な記憶を整理するように、AIモデルの構造を最適化します。まず基盤となるAIモデルに対し、不要な知識を削ぎ落とすPruning（枝刈り）や、新たな能力を付与するTransformerブロックの追加などを行い、多様な構造を持つモデル候補群を生成します。次に、これらの候補の中から、当社独自のProxy（代理評価）技術を用いたNeural Architecture Search（NAS）により、顧客の要望（GPUリソース、速度）と精度のバランスが取れた最適なモデルを自動で選定します。最後に、選定された構造を持つモデルに、「Takane」などの教師モデルから知識を蒸留します。この独自のアプローチにより、単なる圧縮に留まらず、特化したタスクでは基盤の生成AIモデルを上回る精度を達成します。当社のCRM（顧客関係管理）データを用いて各商談の勝敗を予測するテキストQAタスクの実証では、本技術により過去データに基づくタスクに特化した知識のみを蒸留したモデルを用いることで、推論速度を11倍に高速化しつつ、精度を43%改善するなど、大幅な精度向上を確認しました。高精度化とモデル圧縮を同時に実現することで、教師モデルを超える精度を、より軽量な100分の1のパラメータサイズの生徒モデルで達成できることを確認しており、必要なGPUメモリと運用コストをそれぞれ70%削減すると同時に、より信頼性の高い商談勝敗予測が可能となりました。また、画像認識タスクにおいては、未学習の物体に対する検出精度を、既存の蒸留技術と比較して10%向上させることに成功しました（注9）。これは、同分野における過去2年間の精度向上幅の3倍以上に相当する飛躍的な成果です。[画像2: https://prcdn.freetls.fastly.net/release_image/93942/457/93942-457-9259d520f1461627f305730417e89920-980x642.png?width=536&amp;quality=85%2C75&amp;format=jpeg&amp;auto=webp&amp;fit=bounds&amp;bg-color=fff ]特化型AI蒸留技術の概要今後について当社は、本技術を適用することで「Takane」の進化を加速させ、お客様のビジネス変革を強力に支援します。今後は、今回の成果を基に、金融、製造、医療、小売など、より専門性の高い業務に特化した「Takane」から生まれる軽量AIエージェント群を開発・提供していきます。また当社は、本技術をさらに発展させ、生成AIの精度を維持したままモデルのメモリ消費量を最大1,000分の1へ削減し、あらゆる場所で高精度かつ高速な生成AIが利用できる世界の実現に貢献していきます。さらに将来的には、これらの特化型「Takane」を進化させて、世界の仕組みや因果関係をより深く理解し、複雑な課題に対して自律的に最適な解決策を導き出すAIエージェント向けの生成AIアーキテクチャに発展させていきます。注釈- 注1 量子化技術：AIモデルの重みパラメータを、より少ないビット数で表現することにより、モデルサイズを削減し、推論を高速化する技術。- 注2 世界初：複数のアルゴリズムを組み合わせたAIの構造を自動探索する技術（Neural Architecture Search）と知識蒸留を体系的に組み合わせ、軽量化と元のAIモデルを超える精度を両立させた特化型AI蒸留技術において（当社調べ）。- 注3 特化型AI蒸留技術：特定の業務に最適なAIの設計図（アーキテクチャ）をまず見つけ出し、その設計図に基づいて構築されたモデルに、大規模なAIから必要な知識だけを注ぎ込む技術。- 注4 世界最高：当社が独自にベンチマークを行った結果、OneBitなどの最先端手法を上回る性能を確認。- 注5 従来の主流手法（GPTQ）：vLLMなどの主要な推論ライブラリに採用され、Hugging Face Hubで多くの量子化モデルが公開されているなど、LLMの量子化手法として広く活用されているPost-trainingの量子化手法。少量の校正データと高速な処理で、高い精度を維持しつつ大規模なAIモデルの重みを効率的に量子化する点で優れている。- 注6 当社の決算期は3月末日。- 注7 Hugging Face：世界中でオープンソースソフトウェアの公開に使われているプラットフォーム。- 注8 QQA（Quasi-Quantum Annealing）：連続と離散を行き来する量子力学における量子性に着想を得た、大規模最適化問題で世界一の性能を発揮する当社が開発したアルゴリズム。世界最高精度の最適化アルゴリズムとは、離散最適化問題用の標準ベンチマーク（DISCS）において他社の最適化技術よりも10分の1の時間で1.5倍の精度を実現したという点において（2025年8月富士通調べ）。「Fujitsu Kozuchi」搭載済み。- 注9 既存の蒸留技術と比較して10%向上させることに成功：この結果は、2025 IEEE International Conference on Image Processing（ICIP 2025）に採択された。関連リンク- Fujitsu Kozuchi- 量子化論文 “Quantization Error Propagation: Revisiting Layer-Wise Post-Training Quantization”（2025年4月13日公開）- QQA論文 “Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling”（2025年1月23日公開）当社のSDGsへの貢献について[画像3: https://prcdn.freetls.fastly.net/release_image/93942/457/93942-457-b3e32a0eb3ad0782abbde4b6f22b3d28-196x112.png?width=536&amp;quality=85%2C75&amp;format=jpeg&amp;auto=webp&amp;fit=bounds&amp;bg-color=fff ]2015年に国連で採択された持続可能な開発目標（Sustainable Development Goals：SDGs）は、世界全体が2030年までに達成すべき共通の目標です。富士通のパーパス（存在意義）である「イノベーションによって社会に信頼をもたらし、世界をより持続可能にしていくこと」は、SDGsへの貢献を約束するものです。[画像4: https://prcdn.freetls.fastly.net/release_image/93942/457/93942-457-cc03bf6c74ce734d1774eb8e45e02ae9-367x177.jpg?width=536&amp;quality=85%2C75&amp;format=jpeg&amp;auto=webp&amp;fit=bounds&amp;bg-color=fff ]本件が貢献を目指す主なSDGs本件に関するお問い合わせ富士通株式会社お問い合わせフォーム当社はセキュリティ保護の観点からSSL技術を使用しております。プレスリリースに記載された製品の価格、仕様、サービス内容などは発表日現在のものです。その後予告なしに変更されることがあります。あらかじめご了承ください。企業プレスリリース詳細へ : https://prtimes.jp/main/html/rd/p/000000457.000093942.htmlPR TIMESトップへ : https://prtimes.jp