LLM分散推論基盤「llm-d」が正式版に。AIエージェントの大規模運用に対応、推論コストを最大約12分の1に
画像（1枚）

Red Hat、IBM、Google Cloud、NVIDIAなどが参加するオープンソースプロジェクト「llm-d」は10月20日、大規模言語モデル（LLM）の分散推論基盤「llm-d 1.0」を公開した。複数ユーザーによる利用や無停止アップデートなどに対応し、企業の本番環境での運用に必要な機能を強化したとしている。


llm-dは、2025年5月に発足したプロジェクト。Kubernetesを基盤として複数のGPUやサーバーにLLMの推論処理を分散させることで、処理効率を高める。vLLMやSGLangなどの推論エンジンと組み合わせて利用でき、NVIDIA、AMD、IntelのGPUやGoogle TPUなどにも対応する。

バージョン1.0では、複数ユーザーの処理優先度や負荷の管理、サービスを停止しないアップデート、AIエージェントの会話履歴を考慮した処理の振り分けなどを強化した。設定APIも正式版となり、大規模環境での安定した運用を支援する。

すでにGoogle CloudやIBM、Mistral AI、JetBrainsなどが採用しており、IBM Researchでは最大3,000体のコーディングエージェントを並列処理する環境で利用。リリースではIBM Researchの独自運用による推論コストが商用推論基盤と比較して約11.5分の1になったとする実績も紹介している。今回の1.0では、従来の0.x系で実現した推論の高速化やハードウェア対応を基盤として、複数の利用者が共有する本番環境での運用性向上に重点を置いている。
編集部おすすめ