オープンソースOCRモデルをAzure Document Intelligenceと比較してみた

こんにちは、AI Labの浅野晟です。

今回は、私たちが現在製品で利用中のOCRモデルであるAzure Document Intelligenceの代替となるオープンソースモデルを調査・比較したプロジェクトの調査過程と、最終的な結論についてご紹介します。

このプロジェクトの目的は、OCR処理のコスト最適化を図るため、様々なオープンソースOCRモデルの精度と商用利用可能性を調査することにありました。特に、複雑な構造を持つPDFファイルに対して、どこまで正確に文字やレイアウト情報を抽出できるかが焦点となりました。

この記事では、代替モデル、代替に向けてのプロセス、そして最終的な結論について解説します。

目次

代替モデルと代替方針

現在私たちが製品で利用中のOCRモデルはMicrosoft社が提供しているAzure Document Intelligenceです。私たちは、Document Intelligenceと同等の性能を保ったままコストを削減できるモデルがないか調査しました。

調査に用いたPDFは企業内部の情報を含むため該当箇所をマスキングしてありますが、実際は該当箇所にデータがある状態で調査を行いました。

調査に用いたPDF↓
1ページ目:複雑な表構造を含む
r6_monitor https://www.zfssk.com/sp/1204_monitoring/index.html:一般社団法人全国福祉用具専門相談員協会 /「ふくせん-モニタリングシート」

2ページ目:横向きになっている

3ページ目:テキストが多い契約書のページ

4ページ目:テキストが多い契約書のページ

5ページ目:手書き文字を含む契約書の最終ページ

代替対象モデル

以下のモデルを代替の対象としました。

• EasyOCR
Git : https://github.com/JaidedAI/EasyOCR

• YomiToku
Git : https://github.com/kotaro-kinoshita/yomitoku

• olmOCR
Git : https://github.com/allenai/olmocr

• Tesseract OCR
Git : https://github.com/tesseract-ocr/tesseract

• dots.ocr
Git : https://github.com/rednote-hilab/dots.ocr

代替方針

代替は以下の手順で進められました。
1. 各ツールを使用して調査用のPDF(複数ページを含む)をOCR処理します。

  1. OCR結果を、精度検証スクリプトで使用できるJSON形式に整形します。

  2. Document Intelligenceの出力データを正解データとして、精度検証用スクリプト(character_accuracy.py)を使用して文字認識精度(Character Accuracy)を計算しました。

  3. 商用利用の可否、複数ページPDFへの対応、日本語処理の品質も確認しました。

結論

先に結論を述べておきます。

今回の調査では、Azure Document Intelligenceに近いレベルのOCRができるモデルは見つかりませんでした。

Azure Document Intelligenceが最適解という結論に至りました。

その結論に至った過程、各モデルの性能などが気になる方は続きをご覧ください。

1. EasyOCR

対応言語: 約80言語(日本語、英語、中国語、韓国語など)

入力形式: 画像ファイル(JPEG, PNG, BMP, TIFF 等)

出力形式: リスト形式 [bbox, text, confidence] (座標付き文字列と信頼度)

特徴

• PyTorchベースのOCRライブラリ

• 手書き文字や縦書きにもある程度対応

• GPU使用可能で高速処理

• Apache-2.0 license

• 段落・表構造の解析には弱い

コード(Python)

import easyocr
import json
import cv2
from PIL import Image, ImageDraw, ImageFont
import os
import numpy as np

os.makedirs("./processed", exist_ok=True)

# リーダーオブジェクト(日本語・英語)
reader = easyocr.Reader(['en', 'ja'], gpu=False)

def analyze_picture(target_path: str):
    # OCR 実行
    results = reader.readtext(target_path)
    for result in results:
        print(result)

    # JSON 用に変換
    json_data = []
    for box, text, conf in results:
        converted_box = [[int(x), int(y)] for x, y in box]
        json_data.append({
            "box": converted_box,
            "text": text,
            "confidence": float(conf)
        })

    # JSON 保存
    with open("./processed/test_1.json", "w", encoding="utf-8") as f:
        json.dump(json_data, f, ensure_ascii=False, indent=2)

    # 画像読み込み
    image_cv = cv2.imread(target_path)
    image_pil = Image.fromarray(cv2.cvtColor(image_cv, cv2.COLOR_BGR2RGB))
    draw = ImageDraw.Draw(image_pil)

    # フォント設定(macOS 例)
    font_path = "/System/Library/Fonts/ヒラギノ角ゴシック W3.ttc"
    font = ImageFont.truetype(font_path, 24)

    # OCR結果ループ
    for bbox, text, conf in results:
        pt1 = (int(bbox[0][0]), int(bbox[0][1]))
        pt3 = (int(bbox[2][0]), int(bbox[2][1]))

        # 矩形描画(OpenCV)
        cv2.rectangle(image_cv, pt1, pt3, color=(0, 255, 0), thickness=2)
        # 文字描画(Pillow、日本語対応)
        draw.text(pt1, text, font=font, fill=(255,0,0))

    # Pillow → OpenCV に戻す
    image_final = cv2.cvtColor(np.array(image_pil), cv2.COLOR_RGB2BGR)
    cv2.imwrite("./processed/highlighted.jpg", image_final)

def convert_to_single_text_json(input_json_path, output_json_path):
    # 元のJSONファイルを読み込む
    with open(input_json_path, 'r', encoding='utf-8') as f:
        data = json.load(f)

    # 各オブジェクトから"text"キーの値を抽出し、リストに格納する
    all_texts = [item.get("text", "") for item in data]

    # すべてのテキストを結合する
    combined_text = " ".join(all_texts)

    # 新しい形式のJSONデータを作成する
    new_data = {"text": combined_text}

    # 新しいJSONファイルとして保存する
    with open(output_json_path, 'w', encoding='utf-8') as f:
        json.dump(new_data, f, ensure_ascii=False, indent=2)

    print(f"変換が完了しました。ファイル: {output_json_path} に保存しました。")


# 実行
if __name__ == "__main__":
    target_path_1 = "unprocessed/test_1.jpg"
    analyze_picture(target_path_1)

    # 使い方
    # 元のJSONファイル(単語リスト形式)のパス
    input_file = "processed/test_1.json"

    # 新しいJSONファイル(統一形式)のパス
    output_file = "processed/converted_ocr_results_1.json"
    convert_to_single_text_json(input_file, output_file)

精度(Document Intelligenceと比較)

1ページ目:75.84%

2ページ目:3.46%

3ページ目:95.17%

4ページ目:95.35%

5ページ目:89.64%

レポート

EasyOCRは環境構築が容易で無料で利用することができるオープンソースのモデルであることがわかりました。

またEasyOCRは画像のみの入力に対応しており、PDFの入力はサポートされていませんでした。

PDFの精度検証の結果は上記の通りでした。

1,2ページ目の精度が低いことから、レイアウト解析機能がないため複雑な表レイアウトを読み取れない、横向きの画像を認識できていないことがわかります。また、5ページ目の結果より手書き文字によって精度が落ちていること、3,4ページ目の結果よりシンプルな印刷文字であっても誤認識が5パーセントほど発生してしまうことがわかりました。

このモデルは、Gitの情報によれば2000字程度の漢字平仮名を学習している程度であるため、レイアウト解析機能がない点と合わせて、追加学習をしてもDocument Intelligenceの代替となるのは難しい、高性能なGPUがないと十分な学習が困難と判断され、調査が終了しました。

2. Yomitoku

対応言語: 日本語に特化

入力形式: PDF, 画像ファイル(JPEG, PNG, BMP, TIFF 等)

出力形式: JSON, HTML, CSV, マークダウン形式

特徴

• 日本語OCRに特化したクラウドサービス

• PDFや複雑な表、縦書き文字もある程度対応

• APIベースで利用(クラウド環境)

• 商用利用可(契約・課金制)

• 学習やカスタマイズは不可

コード(Python:Google Colabで実行)

# Yomitokuをインストール
!pip install yomitoku

# ドライブをマウント
from google.colab import drive
drive.mount('/content/drive')

# メインのコード
import subprocess
from pathlib import Path


input_dir = Path("/content/drive/MyDrive/ColabNotebooks/Yomitoku/input")
output_dir = Path("/content/drive/MyDrive/ColabNotebooks/Yomitoku/output")
output_dir.mkdir(exist_ok=True)

# yomitoku コマンドの組み立て
cmd = [
    "yomitoku",
    str(input_dir),    # 入力ディレクトリ
    "-f", "json",      # 出力形式を json に指定
    "-o", str(output_dir),  # 出力ディレクトリ
    "--combine",    # pdfを連結
     "--lite"           # 軽量モデル
]

# 実行
result = subprocess.run(cmd, capture_output=True, text=True)

print("STDOUT:", result.stdout)
print("STDERR:", result.stderr)
print("Return Code:", result.returncode)

精度(Document Intelligenceと比較)

1ページ目:98.61%

2ページ目:90.78%

3ページ目:99.68%

4ページ目:100.00%

5ページ目:97.48%

レポート

YomiToku は、Colabの無料環境(T4 GPU)で標準モデル、軽量モデルともに正常に動作し、5ページのPDF処理を約20分(標準モード)で実行できました。

軽量モードでの5ページ全体の文字認識精度(Documet Intelligenceと比較)は 93.20% であり、標準モードでは 96.09% に向上しました。上記のページごとの精度を見てみると特に、シンプルなページでは99.68%(3ページ目)や100.00%(4ページ目)という極めて高い精度を記録しています。

縦向きの読み取りには若干の弱さがあり、レイアウトのずれによる誤認識が見られましたが、全体的にみて非常に精度が高く、Azure Document Intelligenceと同等以上であると考えられました。

YomiTokuは商用利用に有料ライセンスが必要です。非商用および研究目的での利用はCC BY-NC-SA 4.0ライセンスの下で許可されています。

3. olmOCR

対応言語:主に英語に最適化されているが、日本語・中国語・韓国語・その他ラテン系の言語でも使用できる

入力形式:画像ファイル(PNG, JPG, JPEG, BMP, TIFF)、PDF

出力形式:テキスト、Markdown、HTML, JSON(構造化出力)

特徴

• オーブンソースのOCRエンジン

• Apache License 2.0に従う

• 日本語に対応しており表を読み取る構造化出力も可能だが、横向きの入力を受け取れない時がある

レポート

olmOCRはGPURAM15GB以上・30GB以上のディスク容量が推奨されている点などからローカル端末で使用することができませんでした。そのためブラウザにあるデモページを使用しました。 得られた結果を確認したところ全体的に精度高く読み取れていましたが、横向き入力の画像を読み取れないことがしばしばあったり、複雑な表構造を読み取りきれていないことがわかりました。

4. Tesseract OCR

対応言語: 100以上(日本語、英語、中国語、アラビア語、ヒンディー語など世界主要言語)

入力形式: 画像ファイル(JPEG, PNG, TIFF, BMP 等)、PDF(コマンドライン利用時)

出力形式: テキスト、TSV、HOCR、ALTO XML、PDF(検索可能PDF)

特徴

• Googleが中心に開発しているオープンソースOCRエンジン

• 高精度のOCRが可能(特に印刷体文字)

• 日本語対応(訓練データ利用)

• レイアウト解析はできない

• 手書き文字は不得意

コード

import os
import json
from PIL import Image
import pytesseract

pytesseract.pytesseract.tesseract_cmd = "/usr/local/bin/tesseract"

INPUT_DIR = "input"
OUTPUT_DIR = "output"

os.makedirs(OUTPUT_DIR, exist_ok=True)

def ocr_to_json(image_path, output_path, lang="eng"):
    # OCR 実行
    text = pytesseract.image_to_string(Image.open(image_path), lang=lang)

    # JSON形式に整形
    result = {"file": os.path.basename(image_path), "text": text}

    # 保存
    with open(output_path, "w", encoding="utf-8") as f:
        json.dump(result, f, ensure_ascii=False, indent=2)

def main():
    for file in os.listdir(INPUT_DIR):
        if file.lower().endswith((".jpg", ".jpeg", ".png")):
            input_path = os.path.join(INPUT_DIR, file)
            output_path = os.path.join(OUTPUT_DIR, f"{os.path.splitext(file)[0]}.json")
            ocr_to_json(input_path, output_path, lang="jpn")
            print(f"OCR結果を保存しました: {output_path}")

if __name__ == "__main__":
    main()

精度(Document Intelligenceと比較)

1ページ目:47.62%

2ページ目:64.94%

3ページ目:99.37%

4ページ目:99.70%

5ページ目:87.68%

レポート

無料のオープンソースモデルとして、3,4ページ目などのシンプルなレイアウトの印刷字体に対しては高い精度を示しました。しかし、複雑な表のレイアウト解析や横向きの画像の読み取り、手書き文字の認識精度はかなり低い結果を示しました。

こちらもEasyOCRと同様にレイアウト解析機能がない点、横向きの認識ができない点、追加の学習やレイアウト解析をしてくれる別のモデルと組み合わせることで精度向上は期待できるが、高性能なハードが要求されることからDocument Intelligenceの代替にはなり得ないと判断しました。

5. dots.ocr

dots.ocr のローカル実行は、インストールに数十GBが必要であること、NVIDIA製GPU前提であること、そしてGoogle Colabの15GBメモリのGPU環境でさえメモリ不足で処理が落ちたことから、調査は不可能と判断し終了しました。

精度比較に用いたコード(character_accuracy.py)

import json
import os
import argparse
from collections import Counter

def load_json(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        return json.load(file)

def extract_content(data):
    """
    JSONデータからテキストを抽出する統一関数。
    どの形式のJSONでも `data.get("text", "")` で取得可能な前提。
    """
    # Azure Document IntelligenceのJSON形式に対応するロジック
    if isinstance(data, dict) and "analyzeResult" in data:
        return data.get("analyzeResult", {}).get("content", "")

    if isinstance(data, dict):
        return data.get("text", "")
    elif isinstance(data, list):
        texts = []
        for entry in data:
            candidates = entry.get("candidates", [])
            for candidate in candidates:
                content = candidate.get("content", {})
                parts = content.get("parts", [])
                texts.extend(part.get("text", "") for part in parts if part.get("text"))
        return " ".join(texts)
    return ""

def normalize_text(content):
    if content:
        return "".join(content.replace(" ", "").replace("\n", "").replace(":unselected:", "").replace(":selected:", "").replace(":formula:", "").split())
    return ""

def calculate_match_accuracy(truth_text, ocr_text):
    truth_counter = Counter(truth_text)
    ocr_counter = Counter(ocr_text)

    correct_chars = sum(min(truth_counter[char], ocr_counter.get(char, 0)) for char in truth_counter)

    total_chars = sum(truth_counter.values())

    missing_chars = {
        char: truth_counter[char] - min(truth_counter[char], ocr_counter.get(char, 0)) 
        for char in truth_counter 
        if truth_counter[char] > ocr_counter.get(char, 0)
    }

    extra_chars = {
        char: ocr_counter[char] - min(ocr_counter[char], truth_counter.get(char, 0)) 
        for char in ocr_counter 
        if ocr_counter[char] > truth_counter.get(char, 0)
    }

    accuracy = (correct_chars / total_chars) * 100 if total_chars > 0 else 0

    return accuracy, missing_chars, extra_chars, total_chars, correct_chars, ocr_counter

def main():
    parser = argparse.ArgumentParser(description="Compare OCR results with ground truth data.")
    parser.add_argument("ocr_file", help="Path to the OCR result JSON file")
    parser.add_argument("truth_file", help="Path to the ground truth JSON file")
    args = parser.parse_args()

    # JSONファイルの読み込み
    json_ocr = os.path.expanduser(args.ocr_file)
    json_truth = os.path.expanduser(args.truth_file)

    truth_data = load_json(json_truth)
    ocr_data = load_json(json_ocr)

    # テキスト抽出
    truth_text = extract_content(truth_data)
    ocr_text = extract_content(ocr_data)

    # テキストの正規化
    clean_truth_text = normalize_text(truth_text)
    clean_ocr_text = normalize_text(ocr_text)

    # 精度計算
    accuracy, missing_chars, extra_chars, total_chars, correct_chars, ocr_counter = calculate_match_accuracy(clean_truth_text, clean_ocr_text)

    # 結果出力
    print("\n=== OCRで認識できなかった文字 ===")
    if missing_chars:
        for char, count in missing_chars.items():
            print(f"・{char}: {count}回")
    else:
        print("すべて認識された")

    print("\n=== OCRで余計に認識された文字 ===")
    if extra_chars:
        for char, count in extra_chars.items():
            print(f"・{char}: {count}回")
    else:
        print("余計な認識はない")

    print("\n=== OCR結果の統計 ===")
    print(f"総文字数(正解): {total_chars}")
    print(f"OCR 結果の文字数: {sum(ocr_counter.values())}")
    print(f"正しく認識された文字数: {correct_chars}")
    print(f"文字認識精度(Character Accuracy): {accuracy:.2f}%")

if __name__ == '__main__':
    main()

まとめ

結論として、OCRモデルとして、Document Intelligenceが現状最適であると判断しました。

理由としては、高精度で高い文字認識精度(YomiTokuは同等以上)を示した YomiToku は、商用利用に有料ライセンスが必要であり、価格も不明なため採用が困難であるためです。

また、その他のオープンソースモデル(EasyOCR, Tesseract OCRなど)は、レイアウト解析能力が不足している、あるいはコストが高い、PCにスペック不足や環境構築が困難といった課題を抱えており、即座にDocument Intelligenceの代替とすることはできませんでした。

Document Intelligenceは低価格ながら非常に高い精度でOCRを実行できる優れたモデルであることがわかりました。

今後の展望

今回の調査を通じて、以下の展望が見えてきました。

高精度OCRモデルの存在
YomiTokuのように、文字認識精度においては Document Intelligence に匹敵するオープンソースモデルが存在することが確認できました。 また、TesseractOCRもシンプルなレイアウトの文書では安定した精度を発揮しています。

カスタムOCRシステムの可能性
複数のオープンソースOCRモデルとレイアウト解析に特化したライブラリを組み合わせたり、オープンソースモデルを再学習させることで、Document Intelligence に匹敵する独自のカスタムOCRシステムを構築できる可能性があります。

クラウドサービスとの併用
ただし、モデルの再学習や高度な解析には高性能なハードウェアが必要となるため、用途やコストに応じて Document Intelligence などのクラウドサービスを積極的に活用することも現実的な選択肢です。

​

​