モルフォAIソリューションズ、LLM向けの日本語データセット生成サービスを提供開始

文書画像からAI-OCRでテキストデータ作成、良質な日本語LLM構築に貢献モルフォグループにおいてAIの事業化を担う、株式会社モルフォAIソリューションズ（所在地：東京都千代田区、代表取締役：神田武、以下 モルフォAIS）は、日本語LLM（Large Language Model：大規模言語モデル）の学習データを生成するための、AI-OCR（Optical Character Recognition：光学文字認識）出力サービスの提供を2023年12月19日（火）より開始することをお知らせします。このサービスは、独自LLMの構築を検討されている組織（企業・官公庁・地方自治体等）やLLM開発を進めるAI企業・研究機関向けに正確で多様な日本語テキストデータを提供します。[画像1: https://prtimes.jp/i/64140/97/resize/d64140-97-e5f32af908be885112cf-0.png ]LLM構築における日本語学習データの多様性の欠如良質な日本語LLMの構築のためには、多様な日本語データを収集することが必須です。しかし、一般的に収集可能な日本語テキストデータは主にインターネット普及後の1990年以降のものが中心です。1990年以前の文書（社史・広報誌・公文書・議事録等の保存文書）の多くはデジタルデ―タ化されておらず、効率的に収集することができませんでした。そのため、LLM構築を進める組織の多くは、多様な日本語学習データが用意できず公開された共通のデータセットを活用せざるを得ませんでした。結果として、良質なLLMの構築に制約がかかっています。[画像2: https://prtimes.jp/i/64140/97/resize/d64140-97-f3ed7884f05c58193149-1.png ]日本語文書に対応したAI-OCRの重要性保存文書のデジタル化のためにはOCRが必要となりますが、市販OCRの多くは請求書や領収書といった「帳票向け」に開発されたものです。日本語の文書は多様なレイアウト（縦書き、横書き、多段組等）、多様な文字種が混在するため、市販のOCRでは読み順を含めた正確な日本語の抽出が難しいという課題があります。モルフォAISの提供するOCR出力サービスは、上記の市販OCRが苦手としている文章の読み順まで含めた高精度のテキスト生成を行います。これによって、組織が保有するスキャン画像データから多様かつ正確な日本語を生成することで、日本語LLMの学習データの作成を支援します。サービス内容、特徴、実績＜サービス内容＞既存文書（社史・広報誌・公文書・議事録等）のデジタル化とLLM学習データへの変換＜特徴＞１.帳票ではなく、文書に対応したAI-OCR- LLMに入力する際に重要な読み順まで再現- 文字種は約7000種類で、複雑な漢字も読み取り可能 ２.画像（JPEG,PDF,PNG等）が含まれている雑多な文書を、テキスト（様々なフォーマット）で出力可能＜実績＞様々な機関向けにテキスト生成を実施済み（沖縄県豊見城市/ボローニャ大学/順天堂大学/滋賀県立図書館/大手新聞社 等多数）[画像3: https://prtimes.jp/i/64140/97/resize/d64140-97-2885bdf0c223020f1f1d-2.jpg ]お申込み・問い合わせ窓口https://frog-ai-ocr.morphoai.com/こちらより無償トライアル頂く事が可能です。FROG AI-OCR紹介FROG AI-OCRは、お手軽にOCR適用業務が行えるOCR処理に加えて、校正・テキスト出力機能も１つのパッケージとしてご提供しております。機能は全てクラウドで利用可能で、出力テキストの確認・修正作業を効率良く行うことが可能となります。[動画: https://www.youtube.com/watch?v=MxAAHdQka4I ]関連プレスリリース2022年6月14日世界初（注1）近代書籍対応の市販AI-OCRソフト「FROG AI-OCR」新発売～デジタルアーカイブ事業・読書バリアフリー法対応に最適、図書館OCRの決定版～https://www.morphoinc.com/news/20220614-jpr-mais_frog_aiocr2022年11月16日モルフォAIソリューションズ「FROG AI-OCR」を 滋賀県立図書館に提供開始～郷土資料のデジタルアーカイブ化、視覚障害者向けの書籍テキスト化への活用目指す～https://www.morphoinc.com/news/20221116-jpr-mais_frog_aiocr2023年2月14日モルフォAIソリューションズ、順天堂大学と「FROG AI-OCR」を活用した武道史研究を開始～近代史料の計量テキスト分析を実施、新たな武道史研究の視点を提供可能に～https://www.morphoinc.com/news/20230214-jpr-mais_frog_aiocr2023年7月27日モルフォAIソリューションズ、EU資金の研究プログラムNONWESTLITに参画～伊ボローニャ大学とともに19世紀日本語文書の解析を実施～https://www.morphoinc.com/news/20230727-jpr-mais_frog_aiocr2023年10月3日モルフォAIソリューションズ、 沖縄県豊見城市に「FROG AI-OCR」を導入開始～自治体DXとして沖縄タイムス系列Nansei社と公文書等のデジタル化を支援～https://www.morphoinc.com/news/20231003-jpr-mais_frog_ai-ocr株式会社モルフォAIソリューションズについてモルフォAIソリューションズは、AI（人工知能）の事業化に取り組む企業です。行政、電力、交通、製造といった社会インフラの領域で、AI-OCRをはじめとする最先端のAI技術の導入と実運用を推進しております。所在地：〒101-0054 東京都千代田区神田錦町2−２−１ 神田スクエア 11F代表者：代表取締役 神田 武設立：2019年12月事業内容：AIコンサルティング、システムインテグレーション、SW・HW販売などホームページ：https://www.morphoai.comお問合せ先株式会社モルフォAIソリューションズ 神田メール：contact@morphoai.com企業プレスリリース詳細へPR TIMESトップへ