さくらのAIで書類からのテキスト抽出精度を比較してみた

こんにちは、AI Labの川口あいです。

前回のブログ『書類からのテキスト抽出精度をオープンソースのAIモデルで比較してみた』では、ローカル環境で動作する小型言語モデル(SLM)を活用し、PDFドキュメントから特定情報を抽出する一連の処理フローを構築しました。

具体的には、Azure Document IntelligenceによるOCR処理を通じて得られたデータ(JSONファイルと検索可能なPDF)をもとに、ローカルのSLMに情報抽出を実行させる構成です。

今回はその応用として、前回と同じスクリプトおよび処理フローを用いながら、新たな言語モデル(Azure OpenAI ServiceのGPT-4.1、およびさくらインターネットが提供する「さくらのAI Engine(gpt-oss-120b)」)を利用したプロトタイプを開発しました。

目次

開発環境

今回のプロジェクトでは、前回使用していたローカル実行環境のOllamaの代わりにAzure OpenAIとさくらのAIを使用する構成に切り替えて実装しました。

Azure OpenAI Service(GPT-4.1)

OCR結果から情報を抽出するために使用しました。Azure OpenAI Serviceは、OpenAI の強力なモデルを備えたエンタープライズ対応の生成 AI を提供しているため、他のモデルの性能を評価する上での基準(ベンチマーク)として置きました。 OpenAIのAPIのバージョンは2025-04-01-previewを使用しました。

Azure OpenAI Service(GPT-4.1)の料金

GPT-4.1-2025-04-14 Globalは、「入力:299.02円/100万トークン、出力:1196.06/100万トークン」

さくらのAI Engine(gpt-oss-120b)

こちらもOCR結果から情報を抽出するために使用しました。さくらのAI Engineは、APIですぐ利用できることに加え、リクエスト制限内での利用が無料な点から、実用性が高いことが考えられます。

さくらのAI Engine(gpt-oss-120b)の料金

無償プラン:1ヶ月あたり3,000リクエストまで

無償プランのリクエストを超過した場合は、「入力: 0.15円/10,000トークン、出力: 0.75円/10,000トークン」

モデルごとの精度比較

抽出対象のデータ

本プロジェクトでも、経産省より公開されている委託契約書フォーマットのファイルにダミーデータを入力して使用しています。

抽出対象の項目

今回は、以下の9項目を抽出対象とします。プロンプトを調整し、取得できなかった場合はnullを格納するよう指定しました。

項目名キー名
文書タイトルdocumentTitle
申請先applicationTo
記入日entryDate
契約締結日contractDate
代表者氏名representativeName
契約件名contractTitle
委託金額contractAmount
計画変更が業務に及ぼす影響impactOfPlanChange
再委託理由reasonForSubcontracting

代替モデル

今回は、以下のモデルを用いた実装結果を紹介します。

  • GPT-4.1
  • gpt-oss-120b

GPT-4.1

GPT-4.1は、抽出精度を比較するための正解用データを作成する基準モデルとして使用しました。

抽出結果と精度

統一プロンプトで実行した結果、GPT-4.1は要求された全ての情報を正確に抽出しました。

抽出内容
{
  "documentTitle": "計画変更承認書",
  "applicationTo": "経済産業省大臣官房会計課長 殿",
  "entryDate": "令和6年6月1日",
  "contractDate": "令和6年4月1日",
  "representativeName": "山田太朗",
  "contractTitle": "システム開発業務委託",
  "contractAmount": "5,000,000円",
  "impactOfPlanChange": "納品予定日が2週間遅延しますが、業務全体への大きな支障はありません。",
  "reasonForSubcontracting": "メンバーの欠員"
}
出力形式

指示通り、JSON形式で出力してくれています。

gpt-oss-120b

さくらのAI Engine(Chat completions)のgpt-oss-120bの実行結果です。

抽出結果と精度

GPT-4.1と比較しても遜色なく、要求された全ての情報を正確に抽出しました。申請先(applicationTo)の情報に関しては、より詳しく抽出してくれています。

抽出内容
{
  "documentTitle": "計画変更承認書",
  "applicationTo": "支出負担行為担当官 経済産業省大臣官房会計課長",
  "entryDate": "令和6年6月1日",
  "contractDate": "令和6年4月1日",
  "representativeName": "山田太朗",
  "contractTitle": "システム開発業務委託",
  "contractAmount": "5,000,000円",
  "impactOfPlanChange": "納品予定日が2週間遅延しますが、業務全体への大きな支障はありません。",
  "reasonForSubcontracting": "メンバーの欠員"
}
出力形式

指示通り、JSON形式で出力してくれています。

追加比較

gpt-oss-120bの精度をさらに調査するため、別のPDFファイルを用いた追加比較を行います。

抽出対象のデータ

ここで使用するデータは、ふくせん版「福祉用具サービス計画書」で、以下の画像のような構成となっています。

PDFは企業内部の情報を含むため該当箇所をマスキングしてありますが、実際は該当箇所にデータがある状態で使用しました。

また、タイトルは「福祉用具サービス計画書(利用計画)」であり、”ふくせん”という文字は入っていないPDFファイルを使用しました。

抽出対象の項目

今回は、以下の8項目を抽出対象とします。プロンプトを調整し、取得できなかった場合はnullを格納するよう指定しました。例外として、以下の二つを設定しています。

  • 日付の項目名のみ取得できなかった場合は、inputという固定文字列を格納する
  • 「副題(subtitle)」「居宅介護支援事業所(officeName)」「居宅介護支援担当者名(careManager)」の3項目は、文書タイトルが「サービス提供票」の場合のみ抽出される
項目名キー名
文書タイトルdocumentTitle
副題subtitle
利用者名userName
日付date
日付の項目名itemName
利用者番号userNumber
居宅介護支援事業所officeName
居宅介護支援担当者名careManager

GPT-4.1

抽出結果と精度

統一プロンプトで実行した結果、GPT-4.1は要求されたすべての情報を正確に抽出しました。

抽出内容
{
  "documentTitle": "福祉用具サービス計画書",
  "subtitle": null,
  "userName": "井上智也様",
  "date": "20241204",
  "itemName": "日付",
  "userNumber": "19126",
  "officeName": null,
  "careManager": null
}
出力形式

指示通り、JSON形式で出力してくれています。

gpt-oss-120b

抽出結果と精度

GPT-4.1と比較しても遜色なく、要求された全ての情報を正確に抽出しました。文書タイトル(documentTitle)の情報に関しては、より詳しく抽出してくれています。

抽出内容
{
  "documentTitle": "福祉用具サービス計画書(利用計画)",
  "subtitle": null,
  "userName": "井上 智也様",
  "date": "20241204",
  "itemName": "日付",
  "userNumber": "19126",
  "officeName": null,
  "careManager": null
}
出力形式

指示通り、JSON形式で出力してくれています。

比較した結果

以上の結果より、さくらのAI Engineのgpt-oss-120bモデルは、Azure OpenAIのGPT-4.1と比較し、より高い精度で文書情報を抽出してくれると分かりました。

さらに、GPT-4.1と比較して利用料金を大幅に抑えることができます。この結果から、今回の日本語文書の抽出タスクにおいては、さくらのAIが極めてコストパフォーマンスに優れた選択肢であると結論付けられます。

メイン処理のスクリプトの変更点

前回のブログで使用したスクリプトに「call_api_sakura.py」を追加しました。それに伴い、main.py、config.pyにも変更があるため、以下に追加ファイルや変更点に関して記載します。

call_api_sakura.py

さくらのAI EngineのAPIを呼び出し、OCR結果と画像を送信して解析結果を取得します。

import base64
import requests
import json
from pathlib import Path
import os

def call_ai_api_sakura_ai(
    ocr_json_path: str,
    img_path: list,  # 複数ページなら都度ループ等
    token: str,
    model_name: str,
    add_image: bool = False
):
    """
    さくらのAIのAPI(chat/completions)でOCR JSON+画像(JPEG base64)を入力し情報抽出
    """
    # OCR結果を読み込む
    with open(ocr_json_path, "r", encoding="utf-8") as f:
        ocr_data = json.load(f)
    paragraphs = ocr_data.get("paragraphs", [])
    ocr_text = "\n".join(p["content"] for p in paragraphs if "content" in p)

    # with open(ocr_json_path, "r", encoding="utf-8") as f:
    #     ocr_data = json.load(f)

    # ocr_text = ocr_data["content"]

    # system / user 指示文
    system = "システムプロンプト"
    prompt = "ユーザープロンプト"

    # さくらのAI API の messages 構造体
    messages = [
        {"role": "system", "content": system}
    ]

    # 画像つける(GPT-4V対応)場合
    if add_image:
            # 画像base64
        with open(img_path[0], "rb") as f:
            img_base64 = base64.b64encode(f.read()).decode("utf-8")
        messages.append({
            "role": "user",
            "content": [
                {"type": "text", "text": prompt},
                {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{img_base64}"}}
            ]
        })
    else:
        messages.append({
            "role": "user",
            "content": prompt
        })

    # APIに送るデータ
    data = {
        "messages": messages,
        #"max_tokens": 200,
        #"temperature": 0.7,
        "model": model_name
    }

    url = "https://api.ai.sakura.ad.jp/v1/chat/completions"
    headers = {
        "Accept": "application/json",
        "Authorization": f"Bearer {token}",
        "Content-Type": "application/json"
    }

    print(f"Calling Sakura AI with chat_model={model_name} ...")
    response = requests.post(url, headers=headers, json=data)

    try:
        response.raise_for_status()
    except requests.exceptions.HTTPError as e:
        print("=== Response Error ===")
        print("Status Code:", response.status_code)
        print("Response Body:", response.text)
        raise

    result = response.json()

    # レスポンス保存
    output_dir = Path("json_output")
    os.makedirs(output_dir, exist_ok=True)
    filename_base = f"sakura_{model_name}_deployment"
    filename = filename_base + ("_wimage.json" if add_image else "_woimage.json")
    with open(os.path.join(output_dir, filename), "w", encoding="utf-8") as f:
        json.dump(result, f, ensure_ascii=False, indent=2)

    # 結果返却(通常 result["choices"][0]["message"]["content"] が主応答)
    return result

main.pyの変更点

新たに作成した「call_api_sakura.py」から関数をインポートし、AI呼出時にさくらのAIへの条件分岐も追加しました。

さくらのAIを使用して実行する場合は、以下の通りです。

python3 main.py -i unprocessed/<情報抽出したいPDF>.pdf --api-mode sakura

-> unprocessedディレクトリに情報を抽出したいPDFを置いていることを想定しています。 -> コマンドライン引数で”入力PDFファイル” と “使用したいapi(azure or sakura)” を指定できます

import argparse
from config import Config
from ocr import analyze_layout
from pdf_to_jpeg import pdf_to_jpeg
from call_local_llm import call_ai_api
from call_api_llm import call_ai_api_azure_openai
# 追加項目↓
from call_api_sakura import call_ai_api_sakura_ai
from pdf_split import split_pdf_to_pages
from pathlib import Path
import os
import hashlib
import glob
import re

def check_hash(pdf_path: str) -> tuple[bool, str, str]:
    hash_file = pdf_path + ".hash"
    # --- ハッシュ計算 ---
    h = hashlib.md5()
    with open(pdf_path, "rb") as f:
        while chunk := f.read(8192):
            h.update(chunk)
    current_hash = h.hexdigest()

    previous_hash = None
    if os.path.exists(hash_file):
        with open(hash_file, "r") as f:
            previous_hash = f.read().strip()

    flag = True  # PDF分割実行フラグ
    if previous_hash == current_hash:
        flag = False  # 更新なし → PDF分割スキップ
    return flag, current_hash, hash_file

if __name__ == "__main__":
    """
    メイン処理スクリプト:
    1. PDFのOCR解析を実行
    2. OCR処理済みPDFをJPEGに変換
    3. OCR結果とJPEGをAIに送信して解析結果を取得
    """

    # OCR設定入力
    parser = argparse.ArgumentParser(description="Document Intelligence Layout Analysis")
    parser.add_argument("-i", "--input", type=str, help="Input PDF file path", required=False)
    parser.add_argument("--model", type=str, help="AI model to use", default="llama3.1")
    parser.add_argument("--seed", type=int, help="Random seed for AI processing", default=123)
    parser.add_argument("--num-ctx", type=int, help="Number of context tokens", default=4096)
    parser.add_argument("--num-thread", type=int, help="Number of threads for AI processing", default=4)
    parser.add_argument("--add-image", action="store_true", help="Add image to AI input")
    parser.add_argument("--api-mode", type=str, choices=["local", "azure", "sakura"], default="local", help="LLM API mode (local or azure)")
    args = parser.parse_args()

    # # OCR解析の呼び出し
    # analyze_layout(args.input)

    # # PDF → JPEG処理の呼び出し
    # image = pdf_to_jpeg(Config.DEFAULT_INPUT,"./image")

    pdf_path = args.input or Config.DEFAULT_INPUT #何も渡さなければconfig.pyで指定したデフォルトのまま
    output_dir = Path("./processed")

    flag, current_hash, hash_file = check_hash(pdf_path)

    if flag:  #PDF分割
        with open(hash_file, "w") as f:
            f.write(current_hash)
        page_pdfs = split_pdf_to_pages(pdf_path, output_dir)
    else:
        print("PDF分割はすでに実施済みです。スキップします。")
        page_pdfs = sorted(glob.glob(f"{output_dir}/{Path(pdf_path).stem}_page_*.pdf"))
        regex_pattern = re.compile(rf"{re.escape(str(output_dir))}/{re.escape(Path(pdf_path).stem)}_page_\d+\.pdf")
        page_pdfs = [p for p in page_pdfs if regex_pattern.match(p)]

    print(f"処理対象のPDFページ数: {len(page_pdfs)}")

    for pdf_page_path in page_pdfs:
        pdf_page_path = str(pdf_page_path)

        flag, current_hash, hash_file = check_hash(pdf_page_path)

        # OCR解析の呼び出し
        pdf_base = os.path.splitext(os.path.basename(pdf_page_path))[0]  # PDF名から拡張子を除いた部分
        if flag:  #OCR
            analyze_layout(pdf_page_path)
            with open(hash_file, "w") as f:
                f.write(current_hash)
            # PDF → JPEG変換(新規作成)
            pdf_to_jpeg(pdf_page_path, "./image")
            # 生成した PDF のページだけを取得
            image = sorted(glob.glob(f"./image/{pdf_base}.jpeg"))
        else:
            print("OCR・jpeg化はすでに実施済みです。スキップします。")
            image = sorted(glob.glob(f"./image/{pdf_base}.jpeg"))


        # AI呼び出し
        processed_json, processed_pdf = Config.get_output_paths(pdf_page_path)  # PDFごとのOCR JSONを取得

        if args.api_mode == "azure":
            result = call_ai_api_azure_openai(
            ocr_json_path=processed_json,
            img_path=image,
            endpoint=Config.AZURE_OPENAI_ENDPOINT,
            api_key=Config.AZURE_OPENAI_API_KEY,
            deployment_name=Config.AZURE_DEPLOYMENT_NAME,
            api_version=Config.AZURE_OPENAI_VERSION,
            pdf_base=pdf_base,
            add_image=args.add_image
            )
            # Azure OpenAI の場合は result["choices"][0]["message"]["content"] が主応答
            print(result["choices"][0]["message"]["content"])

     # 追加項目(コマンドライン引数で"sakura"を指定した場合)↓
        elif args.api_mode == "sakura":
            result = call_ai_api_sakura_ai(
                ocr_json_path=processed_json,
                img_path=image,
                token=Config.SAKURA_AI_ACCOUNT_TOKEN,
                model_name=Config.SAKURA_AI_MODEL_NAME,
                add_image=args.add_image
            )
            print(result["choices"][0]["message"]["content"])

     # ここまで↑
        else:
            result = call_ai_api(
                ocr_json_path=processed_json,
                img_path=image, 
                model=args.model,
                seed=args.seed,
                num_ctx=args.num_ctx,
                num_thread=args.num_thread,
                add_image=args.add_image
            ).json()

            if args.api_mode == "local" and "response" in result:
                print(result["response"])

            required_keys = [
                "total_duration", 
                "load_duration", 
                "prompt_eval_duration", 
                "eval_duration", 
                "prompt_eval_count", 
                "eval_count"]

            if all(key in result for key in required_keys):
                print("=== Performance Metrics ===")
                for key in ["total_duration", "load_duration", "prompt_eval_duration", "eval_duration"]:
                    print(f"{key}: {result[key]*1e-9} s")
                for key in ["prompt_eval_count", "eval_count"]:
                    print(f"{key}: {result[key]} tokens")
                for key in ["prompt_eval", "eval"]:
                    print(f"Throughput of {key}: {result[key+'_count']/ (result[key+'_duration']*1e-9)} tokens/s")

config.py

設定ファイルにさくらのAI Engineのアカウントトークンなどの情報を追加しました。

import os
from dotenv import load_dotenv

load_dotenv()

class Config:
    """
    設定クラス: AzureのOCR設定、入力ファイル・出力ディレクトリ・JPEG保存ディレクトリを管理します。

    ENDPOINT: Azure のOCR用のエンドポイントです
    KEY: AzureのOCR用のキーです。
    DEFAULT_INPUT: 入力ファイルの指定です。(変更予定)

    属性:
        ENDPOINT (str): Azure Document Intelligence エンドポイント
        KEY (str): Azure Document Intelligence 認証キー
        DEFAULT_INPUT (str): デフォルトの入力PDFファイルパス
        OUTPUT_DIR (str): OCR結果や処理PDFの出力ディレクトリ
        IMAGE_FILE (str): PDFから変換したJPEG画像の保存ディレクトリ
    """
    # Azure設定
    ENDPOINT = os.getenv("ENDPOINT")
    KEY = os.getenv("KEY")
    AZURE_OPENAI_ENDPOINT = os.environ.get("AZURE_OPENAI_ENDPOINT")
    AZURE_OPENAI_API_KEY = os.environ.get("AZURE_OPENAI_API_KEY")
    AZURE_DEPLOYMENT_NAME = os.environ.get("AZURE_DEPLOYMENT_NAME")
    AZURE_OPENAI_VERSION = os.environ.get("AZURE_OPENAI_VERSION")

    # Sakura設定(追加項目)
    SAKURA_AI_ACCOUNT_TOKEN = os.environ.get("SAKURA_AI_ACCOUNT_TOKEN")
    SAKURA_AI_MODEL_NAME = os.environ.get("SAKURA_AI_MODEL_NAME")

    # 入力ファイル
    DEFAULT_INPUT = "./unprocessed/test_page_1.pdf"

    # 出力ディレクトリ
    OUTPUT_DIR = "processed"

    # jpeg保存ディレクトリ
    IMAGE_FILE = "image"

    #最終出力ディレクトリ
    JSON_FILE = "json_output"

    @staticmethod
    def get_output_paths(filepath):
        import os
        filename = os.path.basename(filepath)
        filename_without, _ = os.path.splitext(filename)
        json_path = os.path.join(Config.OUTPUT_DIR, f"{filename_without}.json")
        pdf_path = os.path.join(Config.OUTPUT_DIR, f"{filename_without}_pro.pdf")
        return json_path, pdf_path

今後の展望

本プロジェクトでは、さくらのAIが特定の日本語文書において、Azure OpenAIのGPT-4.1を上回る高い精度で情報を抽出できることが明らかになりました。

今後はこの結果を踏まえ、実業務で利用しているAzure OpenAIのAPIを、よりコストパフォーマンスに優れたさくらのAIに置き換えることを検討していきます。また、単純な情報抽出だけでなく、さらなる応用も探っていく予定です。

​

​