オフラインで動作するLLMモデルの量子化に成功！エッジデバイスで開花するLLMの新たな可能性

AiGlow株式会社は、AI事業の主要サービスである特化型LLMのカスタマイズサービス「WAVE」（以下、「WAVE」と呼ぶ）より、R&amp;DにおいてオフラインのAndroid端末で動作するLLMの量子化に成功したことを発表します。[動画: https://www.youtube.com/watch?v=NoloTGct47U ]当社WAVEサービスは、LLM （Large Language Model）モデルに関する研究開発を行なっております。最先端のAIモデルであるLlama2、Llama3、Phi-3など、最新LLMモデルの選定から、ファインチューニングやモデルの量子化までを網羅しております。今回成功した研究開発「LLMの量子化」では、端末上でLLMが動作する為、インターネットを介さずにIoT端末を含む様々な小型機器に適用でき、高いセキュリティとプライバシー、コスト削減を実現します。[画像1: https://prcdn.freetls.fastly.net/release_image/142695/5/142695-5-1d4cde9174eb0c93586a71c9dd0b85da-1080x566.jpg?width=536&amp;quality=85%2C75&amp;format=jpeg&amp;auto=webp&amp;fit=bounds&amp;bg-color=fff ]【LLMの量子化の効果】▪️オフライン機能： インターネット接続なしで動作。▪️プライバシーとセキュリティの強化： ローカルでデータを処理・保存する為、不特定多数のネットワークを介す必要が無く安全性が高い。▪️パフォーマンスと効率性： ローカル処理により、クラウドベースのモデルと比較した際の待ち時間が短縮され応答時間が早い。▪️専門性： 特定のニーズに特化することで専門性の高い活用が期待できる。▪️コスト削減： サーバーやクラウドのコストが不要、高い費用対効果を実現。必要な範囲内だけでの利用が可能。▪️利便性： モバイル上で利用できるためどこでも使いやすく持ち運びしやすい。[画像2: https://prcdn.freetls.fastly.net/release_image/142695/5/142695-5-f5802688c9a0e8098a5ee8e233432f06-2048x2048.jpg?width=536&amp;quality=85%2C75&amp;format=jpeg&amp;auto=webp&amp;fit=bounds&amp;bg-color=fff ]【ユースケース】LLMの量子化によりエッジデバイス上での推論が可能になり、低消費電力、低コストで安定したパフォーマンスを保ちながら動作します。製造業：異常検知製造業の分野において、カメラによる異常検知（不良品検知）及びAIによる問題特定と原因の分析をオフライン上で可能にします。各検知カメラにモニターを接続しLLMを連動させることで、属人化解消のほか、異常検知に対しての迅速な対処が実現できます。さらに、多言語処理を可能にすることにより外国人労働者への翻訳時間を短縮し、効率的な業務改善が見込めます。カスタマーサポート：災害活動支援災害発生時には、住民やボランティアに向けて緊急情報や避難指示を提供し、多言語での翻訳を行います。被災者向けのQ&amp;Aシステムを構築することで、支援や資源に関する質問にも迅速に回答できます。さらに、SNSやニュースデータを分析して災害の影響を把握し、適切なレポートを生成することが可能です。避難計画の策定や災害時の行動シミュレーション、復旧支援にも役立ちます。[画像3: https://prcdn.freetls.fastly.net/release_image/142695/5/142695-5-fd46a09031e120283b5a57470d04405d-824x297.png?width=536&amp;quality=85%2C75&amp;format=jpeg&amp;auto=webp&amp;fit=bounds&amp;bg-color=fff ]WAVEのR&amp;Dサービスでは、最先端AIのLLMモデルに更なる可能性と価値を創出するべくクライアント企業のみなさまの新規事業及び技術の有効活用を通じて、貴社の取り組みを全力でご支援いたします。AiGlow株式会社およびLLMの量子化に関する詳細は、当社のウェブサイトをご覧いただくか、wave@aiglow.aiまでお問い合わせください。[画像4: https://prcdn.freetls.fastly.net/release_image/142695/5/142695-5-6a186d22281582254c5ce9dabf84d233-960x540.jpg?width=536&amp;quality=85%2C75&amp;format=jpeg&amp;auto=webp&amp;fit=bounds&amp;bg-color=fff ]【AiGlow株式会社について】AiGlow株式会社は「お客様と最も近い所で共に協働の機会を得る」をコーポレートメッセージに、ワンストップのコンサルティングサービスを展開しています。デジタルコンシェルジュソリューションAI事業の他に当社では、企業の経営をシステム化しクライアントごとのニーズに合わせた、デジタルとコンシェルジュを融合したコンサルティングサービスを提供しております。デジタルコンシェルジュソリューションとは、全ての産業に通じる技術を、日本の文化ともいえるおもてなしの心を持ち、より上質かつ柔軟性を活かしたサービスです。ヘルプデスクを初め、ITインフラ、ソフトウェア開発、プロジェクトサポートなど、さまざまな支援を対象としております。WAVEと合わせたご提供も可能で、社内のDX化をよりスムーズに促進いたします。【会社概要】社名：AiGlow株式会社本社所在地：東京都中央区京橋3-1-1 東京スクエアガーデン14F代表取締役：千葉亜紀サービス内容：ITプロフェッショナルサービス／デジタルコンシェルジュソリューション設立： 2015年3月2日HP：aiglow.ioお問い合わせ先：wave@aiglow.aiSuccessful Quantization of Offline Capable LLM Model! New Potential for LMM Blossoms on Edge DevicesAiGlow Corporation announces in its R&amp;D efforts, the successful quantization of an LLM model that operates offline on Android devices. This is part of its specialized LLM customization service "WAVE" (from now on referred to as "WAVE").Our WAVE service conducts research and development related to LLM (Large Language Model) models. From selecting the latest LLM models, such as Llama2, Llama3, and Phi-3, to fine-tuning and quantizing the models, we cover a wide range of services.The recently successful "Quantization of LLM," research and development project allows for the operation of LLM on small devices, including IoT terminals without internet connectivity. This is due to the LLM running on a local terminal and ensuring high levels of security and privacy, as well as creating cost savings.[Effects of LLM Quantization]▪️Offline Functionality: Operates without an internet connection.▪️Enhanced Privacy and Security: Processes and stores data locally, eliminating the need to use multiple networks, resulting in higher levels of security.▪️Performance and Efficiency: Local processing reduces latency compared to cloud-based models, leading to faster response times. ▪️Specialization: Can be highly specialized to meet specific needs, allowing for more targeted applications.▪️Cost Reduction: Avoids costs associated with servers and the cloud, achieving high cost-effectiveness. Usage is limited to necessary scopes. ▪️Convenience: Easy to use and carry anywhere due to its mobile compatibility.[Use Cases] The quantization of LLM enables inference on edge devices, allowing for stable performance with low power consumption and cost.Manufacturing: Anomaly DetectionIn the manufacturing industry, anomaly detection (such as defective product detection) with cameras, problem identification, and cause analysis using AI can be performed offline. By connecting a monitor to each detection camera and integrating it with an LLM, it is possible to eliminate dependence on personnel and enable rapid response to anomaly detection. Additionally, enabling multilingual processing can reduce translation time for foreign workers, improving operational efficiency. Customer Support: Disaster Relief Assistance During disasters, emergency information and evacuation instructions can be provided to residents and volunteers, with translations available in multiple languages. By establishing a Q&amp;A system for disaster victims, it is possible to promptly answer questions regarding support and resources. Furthermore, by analyzing social media and news data, the system can help understand the impact of the disaster and generate appropriate reports. This is useful for developing evacuation plans, simulating actions during disasters, and assisting recovery efforts.WAVE's R&amp;D services are fully committed to supporting our client companies in creating new possibilities and value with cutting-edge AI LLM models, as well as the effective use of new businesses and technologies. For more details about AiGlow and LLM quantization, please visit our website or contact us at wave@aiglow.ai.About AiGlow CorporationAiGlow provides one-stop consulting services under the corporate message “Creating opportunities through close collaboration.”【Digital Concierge Solution】In addition to our AI business, we provide consulting services that systematize business management. We achieve this by tailoring solutions to the specific needs of each client by combining digital technology with concierge-style service.Our Digital Concierge Solutions involve applying technologies applicable across all industries, infused with the spirit of Japanese hospitality, to deliver higher-quality and more flexible services.We offer a range of support, starting from help desks, IT infrastructure, software development, and project support. We can provide these services in conjunction with WAVE, further facilitating a smooth Digital Transformation(DX) within your organization.【Company Overview】Name: AiGlow CorporationHeadquarters: Tokyo Square Garden 14th Floor, 3-1-1 Kyobashi, Chuo-ku, TokyoCEO: Chiba AkiService Description: IT Professional Service/ Digital Concierge Solution Founded: March 2nd, 2015HomePage: aiglow.ioContact: wave@aiglow.ai企業プレスリリース詳細へ : https://prtimes.jp/main/html/rd/p/000000005.000142695.htmlPR TIMESトップへ : https://prtimes.jp