【画像:https://kyodonewsprwire.jp/img/202603065234-O1-HprIPldd】
AIの急速な進歩にもかかわらず、ほとんどのAIモデルはコアサービスに徹底的に統合されていません。これは主に、モデル採用の鍵である推論よりも、トレーニングに重点が置かれているためです。AIの幻覚、応答の遅さ、推論におけるスループットの制約といった課題に対処するためには、データ処理の改善が必要です。
Huawei・データ・ストレージは、これらの課題に取り組むため、「3+1」AIデータ・プラットフォームを正式に発表しました:
高精度なマルチモーダル知識による知識生成と検索 – より正確な検索を実現
マルチモーダルなロスレス解析とトークンレベルのエンコーディングを通じて、マルチモーダルリソースを高精度な知識に変換し、95%以上の検索精度を保証します。
推論高速化のためのKVキャッシュ– 履歴メモリデータを使用することで、より高速で効率的な推論を可能にします
KVキャッシュにインテリジェントな階層化と管理を適用することで、コンテキストウィンドウを大幅に拡大し、冗長な計算を削減します。これにより、最初のトークンまでの時間(TTFT)が90%短縮され、AIの応答速度が大幅に向上しました。
コンテキストメモリ管理によるメモリ抽出とリコール– 使用するほどにモデルがよりスマートになります
履歴データや経験を正確に抽出し、それらを呼び出し可能なメモリとして蓄積することができます。このメモリメカニズムにより、使用するほどにモデルがよりスマートになります。
ライフサイクルを通してメモリデータを管理し、スケジューリングするUCM
知識ベース、KVキャッシュ、メモリバンクの三つのキャッシュレベルでメモリデータを管理し、インテリジェントにスケジューリングします。
Huawei AI データプラットフォームは、グリーンフィールド展開のためのアプライアンス・モードと、発展的展開のための独立モードを提供します。アプライアンス・モードでは、OceanStor A800システムを採用されています。
「Huaweiは今後も技術革新を深めていきます。AIデータ・プラットフォームが架け橋となり、モデルの能力を真のビジネス価値へと変えていきます」とYuan Yuanは述べています。
お問い合わせ先:
Zoe Yin、yinzijun@huawei.com
(日本語リリース:クライアント提供)
PR Newswire Asia Ltd.
【画像:https://kyodonewsprwire.jp/img/202603065234-O2-g7AH4XDu】
PR Newswire
1954年に設立された世界初の米国広報通信社です。配信ネットワークで全世界をカバーしています。Cision Ltd.の子会社として、Cisionクラウドベースコミュニケーション製品、世界最大のマルチチャネル、多文化コンテンツ普及ネットワークと包括的なワークフローツールおよびプラットフォームを組み合わせることで、様々な組織のストーリーを支えています。www.prnasia.com