書類からのテキスト抽出精度をオープンソースのAIモデルで比較してみた

こんにちは、AI Labの神﨑睦人です。

今回のプロジェクトでは、AIによる書類比較において、特にローカル環境で動作するSLM(小型言語モデル)を用いたプロトタイプを作成します。

このプロジェクトにおけるポイントは、PDFドキュメントのOCR処理と、その結果をローカルのSLMまたはLLMに渡すことで必要な情報を抽出する一連のフローを構築することです。これにより、クラウドベースのLLMに依存しない、よりコスト効率や拡張性の高い文書解析システムの実現を目指しました。

具体的には、未処理のPDFファイルを監視し、Azure Document Intelligenceを用いてOCR処理を行い、その結果(JSONファイルと検索可能なPDF)を「処理済み」フォルダに格納。その後、このOCR処理済みのデータをOllama上で動作する様々なローカルモデルにAPI経由で渡し、特定情報の抽出をめざします。

これにより、将来的にAIによる書類管理において、コストの削減と拡張性の高いSLMの導入が期待できます。特に、モデルごとのテキスト取得性能や精度の高さを検証し、それぞれのモデルが持つ課題と解決策を明確にすることが、本プロジェクトの核となります。

目次

開発環境

今回のプロジェクトでは、以下の技術スタックとリソースを使用しました。

Python

スクリプト開発と依存関係管理のためにPythonの仮想環境を活用しました。これにより、プロジェクト固有のライブラリ環境を分離しました。

Azure Document Intelligence

PDFファイルからの文字認識(OCR)と構造化データ抽出のために、Microsoft Azureのクラウドサービスを利用しました。特に、Pythonライブラリを介してDocument Intelligenceの機能を呼び出し、PDFを解析しました。

Ollama

ローカル環境でLLMを動作させるためのプラットフォームとしてOllamaを採用しました。OllamaはLLMの導入とAPI形式での操作が容易であるため、複数のSLMモデルの検証に適していました。

環境構築

本プロジェクトの環境構築は、主にOCR処理のためのAzure Document Intelligenceのセットアップと、ローカルモデル環境としてのOllamaの導入の二段階で進められました。

Azure Document Intelligenceの環境構築

1. リソース作成

まず、Azure Portalを参考にDocument Intelligenceにリソースを作成します。

2. Pythonライブラリのインストール

Document IntelligenceやdotenvなどのPythonライブラリをインストールします。

3. エンドポイントとキーの設定

作成したリソースのエンドポイントとキーを環境変数ファイル内に記述します。

4. ローカルファイル解析への修正

Document Intelligenceにおいてローカルファイルを解析できるようにスクリプトを調整しました。具体的には、url_sourceではなくbody=fとしてファイルオブジェクトを直接渡すように変更しました。

5. ディレクトリ構造と出力

unprocessed(未処理)とprocessed(処理済み)のディレクトリを作成します。スクリプトは、unprocessedディレクトリ内のPDFファイルを読み込み、OCR結果のJSONファイルと検索可能なPDFファイルをprocessedディレクトリに格納するようにしました。例えば、

python doc_intel_quickstart.py -i ./unprocessed/sample-layout.pdf

のように実行することで、指定されたPDFの解析後のJSONファイルがprocessedに格納されます。

6. PDFのテキスト化

Document IntelligenceのOCR実行後、テキストとして処理が可能になることを確認しました。

OllamaによるローカルSLM環境の構築

1. Ollamaのインストール

SLMをローカルで動かす方法に関する参考資料を基にOllamaをインストールしました。検証用PCの/Application以下にインストールしました。インストール後、ollama –versionコマンドでバージョンを確認し、正常にインストールされていることを確認しました。

2. モデルのダウンロード

Ollamaを導入する際に、まずはGemma 3 4Bモデルを使用しました。

ollama pull gemma3:4b

コマンドでモデルをダウンロードし、ollama listでモデルが追加されていることを確認しました。

3. モデルの起動とAPIでの応答確認

ollama run gemma3:4b

コマンドでモデルを起動し、別のターミナルから

curl -X POST http://localhost:11434/api/generate

コマンドを使ってAPI形式でレスポンスが得られることを確認しました。レスポンスは1トークンずつ出力され、日本語にも対応していることが確認されました。チャット形式での応答や、Pythonのrequestsライブラリを使用したリクエストも成功しました。

4. PDFのJPEG変換とLLMへの入力

OCRで処理したPDFを1ページずつJPEGに変換し、そのJPEG画像、OCRのJSONデータ、そしてプロンプトをLLMに渡す処理フローを構築しました。

当初、PDFの画像ファイルへの変換にはpdf2imageライブラリを使用しようとしましたが、これにはPopplerという外部ツールが必要で、管理者権限でのインストールが必要となる問題に直面しました。PDFInfoNotInstalledErrorが発生しました。

この問題を解決するため、Popplerのグローバルインストールをユーザーに強要しないよう、既存のライブラリであるfitz (PyMuPDF) を再利用することに方針転換しました。これにより、PDFのページごとにJPEGファイルが作成されるようになりました。

モデルごとの精度比較

抽出対象のデータ

今回の検証では、経産省より公開されている委託契約書フォーマットのファイルにダミーデータを入力して使用しています。

抽出対象の項目

今回は、以下の9項目を抽出対象とします。今回はプロンプトを調整し、取得できなかった場合はnullを格納するよう指定しました。

項目名キー名
文書タイトルdocumentTitle
申請先applicationTo
記入日entryDate
契約締結日contractDate
代表者氏名representativeName
契約件名contractTitle
委託金額contractAmount
計画変更が業務に及ぼす影響impactOfPlanChange
再委託理由reasonForSubcontracting

検証モデル

今回は、以下のモデルの検証結果を紹介します。

  • GPT-4o
  • Gemma 3 270M
  • Gemma 3 4B
  • Llama 3.1 Swallow
  • Gemma2-Llama Swallow

GPT-4o

GPT-4oは、ローカルLLMの抽出精度を比較するための正解用データを作成する基準モデルとして使用しました。

抽出結果と精度

統一プロンプトで検証を実行した結果、GPT-4oは要求された以下の全ての情報を正確に抽出しましたが、”“`jsonのようなノイズは存在しているので、パースするときに工夫が必要です。

抽出内容
"```json
{
  "documentTitle": "計画変更承認書",
  "applicationTo": "経済産業省大臣官房会計課長",
  "entryDate": "令和6年6月1日",
  "contractDate": "令和6年4月1日",
  "representativeName": "山田太朗",
  "contractTitle": "システム開発業務委託",
  "contractAmount": "5,000,000円",
  "impactOfPlanChange": "納品予定日が2週間遅延しますが、業務全体への大きな支障はありません。",
  "reasonForSubcontracting": "メンバーの欠員"
}
```"

出力形式

指示通りの内容ではあるものの、”“`jsonのようなノイズは存在しています。

Gemma 3 270M

Gemma 3 270M (gemma3:270m) は、超軽量モデルとして、要件を満たせるかを検証しました。

抽出結果と精度

流石に270Mのモデルでは、要求された出力形式や取得内容の処理がほとんど要件を満たしませんでした。モデルはJSON形式の抽出結果を返す代わりに、入力された文書全体をMarkdown形式で再構成して出力してしまいました。

抽出内容
```markdown
R7-G-1
(様式第2)
記号番号 B-204 令和 6年 6月 1日
支出負担行為担当官 経済産業省大臣官房会計課長 殿
住 所 東京都千代田区霞が関1-2-3 名 称 テスト株式会社
代表者 山田太朗
計画変更承認書
契約書第5条第1項の規定に基づき、下記のとおり申請します。
記
1. 契約件名
契約締結日
令和6年4月1日
契約締結時の記号番号
B-202
契約件名
システム開発業務委託
2. 委託金額(委託金額の変更を伴う場合は、新旧対比で記載すること。)
委託金額
5,000,000円
3. 業務の進捗状況(業務内容ごとに、簡潔に記載すること。)
業務の進捗状況
要件定義は完了し、設計作業を進めています
計画変更の内容·理由
開発工程で追加対応が発生したため、作業期間を2週間延長します。
計画変更が業務に及ぼす 影響
納品予定日が2週間遅延しますが、業務全体への大きな支障はありません。
4. 計画変更の内容·理由及び計画変更が業務に及ぼす影響(詳細に記載すること。また、支出計画の変 更を申請する場合は、別葉にて新旧対比で作成すること。
再委託先の氏名又は名称及 び住所
Town株式会社 東京都千代田区霞が関1-2-3
再委託先が業務を終了すべ き時期
令和6年10月末
再委託する(又は再委託先 を変更する)理由
メンバーの欠員
5. 再委託内容(複数ある場合は再委託先ごとに記載することとし、再委託先の変更の場合は新旧対比す ること。)

出力形式

JSON形式を要求しましたが、Markdown形式で入力文書の内容を再現したため、構造化データとしての利用はできませんでした。

性能指標

処理速度自体は非常に高速でした。

指標: 結果

total_duration: 10.084603058秒

Throughput of eval: 56.47839296051511 tokens/s

Gemma 3 4B

Gemma 3 4B については、プロンプト修正後のテキストのみの入力と、画像あり(マルチモーダル)の入力で検証を行いました。

  1. テキスト入力(画像なし) プロンプトを修正し、JSON形式を強制した結果、辞書型で応答してくれるようになりました。抽出精度はGPT-4oの正解データと一致し、高精度でした。 出力形式の課題: 「出力結果の全体をmarkdownのコードブロックやダブルクォート等で括らないでください」というシステム指示にもかかわらず、JSON出力がMarkdownコードブロック(json...)でラップされていました。
抽出内容
文書タイトル:システム開発業務委託
申請先:Town株式会社
記入日:令和6年4月1日
契約締結日:令和6年4月1日
代表者氏名:山田太朗
契約件名:システム開発業務委託
委託金額:5,000,000円

指標: 結果

total_duration: 40.623340131秒

Throughput of eval: 9.10142572265656 tokens/s

  1. 画像入力(画像あり) 画像データ (jpeg) を追加して実行しました。 抽出結果の精度: 精度が不安定になりました。 文書タイトルが「計画変更承認書」ではなく「システム開発業務委託」と抽出されました。 記入日が「令和6年6月1日」ではなく「令和6年4月1日」と抽出されました。 出力形式の課題: テキスト入力時と同様に、Markdownコードブロックでラップされました。
抽出内容
文書タイトル:R7-G-1
申請先:経済産業省大臣官房会計課長 殿
記入日:令和6年6月1日
契約締結日:令和6年4月1日
代表者氏名:山田太朗
契約件名:システム開発業務委託
委託金額:5,000,000円

性能指標

指標: 結果

total_duration: 98.65386513秒

Throughput of eval: 9.24945049999847 tokens/s

Llama 3.1 Swallow

Llama 3.1 Swallow (8B) は、日本語特化型モデルの候補として検証しました。これはテキスト専用のモデルです。

抽出結果と出力形式

call_ai_api(…).json() を出力した結果、辞書型風の文字列が出力されましたが、「”“`json\n{…”」のようにMarkdownコードブロック(ラッパー)と余計な文字が付いていました。出力形式の課題は残るものの、JSON構造自体は生成されました。

抽出内容
"```json
{
  "documentTitle": "計画変更承認書",
  "applicationTo": "経済産業省大臣官房会計課長",
  "entryDate": "令和6年6月1日",
  "contractDate": "令和6年4月1日",
  "representativeName": "山田太朗",
  "contractTitle": "システム開発業務委託",
  "contractAmount": "5,000,000円",
  "impactOfPlanChange": "納品予定日が2週間遅延しますが、業務全体への大きな支障はありません。",
  "reasonForSubcontracting": "メンバーの欠員"
}
```"

性能指標

検証した主要なローカルモデルの中では、非常に高速に処理を完了しました。 指標: 結果

total_duration: 13.064679416秒

prompt_eval_count: 775 tokens

eval_count: 101 tokens

Gemma2-Llama Swallow

Gemma-2-Llama Swallow (9B) モデル (hf.co/mmnga/Gemma-2-Llama-Swallow-9b-it-v0.1-gguf) の検証結果です。

抽出結果と精度

JSON形式で構造化データを出力しましたが、精度に課題がありました。 記入日 (entryDate) が、文書内に情報があるにもかかわらず、null として抽出されました。

抽出内容
\`\`\`json
{
  "documentTitle": "計画変更承認書",
  "applicationTo": "支出負担行為担当官 経済産業省大臣官房会計課長",
  "entryDate": null,
  "contractDate": "令和6年4月1日",
  "representativeName": "山田太朗",
  "contractTitle": "システム開発業務委託",
  "contractAmount": "5,000,000円",
  "impactOfPlanChange": "納品予定日が2週間遅延しますが、業務全体への大きな支障はありません。",
  "reasonForSubcontracting": "メンバーの欠員"
}
\`\`\`

出力形式の課題

他のローカルモデルと同様に、出力結果はMarkdownコードブロック(json...)でラップされていました。

性能指標

このモデルは、今回の検証で使用したローカルモデルの中では、最も処理時間が長くなりました。

指標: 結果

total_duration: 108.315045736秒

Throughput of eval: 3.924088392881307 tokens/s

最終的な結論

ローカルSLMをAI書類管理システムに組み込む際の最終的な結果としては以下の通りです。

  1. Llama 3.1 Swallow (8B) が、精度と処理速度の両面で最もバランスの取れたモデルである。

  2. Gemma 3 4Bは、テキストのみの入力であれば高い精度を維持できるが、画像(マルチモーダル)入力では処理時間が大幅に増加し、精度も低下する可能性がある。

  3. モデルサイズが小さすぎる(270Mなど)と、構造化データの抽出要件を達成できないため、最低限のサイズが必要である。

  4. ローカルSLMを利用する場合、プロンプトでJSON出力を指示してもMarkdownコードブロックでラップされるため、システム側でパース処理を考慮する必要がある。

結論としては、Llama 3.1 SwallowはGPT-4oと同程度の出力を実現できていました。これらはどちらもコードブロックでラップされており、パースには工夫が必要ですが、ローカルモデルとして選択するならLlama 3.1 Swallowが良さそうです。

メイン処理のスクリプトと動作フロー解説

今回のローカルSLM検証プロジェクトを通じて、OCR処理からローカルモデルによる情報抽出までの一連のフローを確立しました。

システム構成

主要なスクリプトは以下のファイルで構成されています。

  • main.py: メインの実行スクリプト。OCR処理、PDFのJPEG変換、AI呼び出しのフローを制御します。

  • config.py: 設定ファイル。デフォルトの入力ファイルパスなどを管理します。

  • ocr.py: Azure Document Intelligenceを呼び出してOCR解析を実行します。

  • pdf_to_jpeg.py: PDFファイルをJPEG画像に変換します。

  • call_local_llm.py (または call_api_llm.py): ローカルモデル(Ollama)またはAzure OpenAI APIを呼び出し、OCR結果と画像を送信して解析結果を取得します。

1. 入力PDFの指定

main.pyは、コマンドライン引数で入力PDFファイルを指定できます (python3 main.py -i <input_pdf_path>)。指定がない場合はconfig.pyで定義されたデフォルトファイルを使用します。

2. OCR・JPEG化のスキップ機能

パフォーマンス向上のため、OCR処理とJPEG変換のスキップ機能が実装されました。 入力PDFファイルのハッシュ値を計算し、pdf_path + “.hash”というハッシュファイルに保存します。 もし現在のPDFのハッシュ値が既存のハッシュファイルに保存されている値と一致する場合、そのPDFは既に処理済みと判断し、OCR・JPEG化のステップをスキップします。これにより、不必要な再処理を避けて時間を短縮できます。

ファイルが更新された場合(ハッシュ値が異なる場合)のみ、OCR解析とJPEG変換が実行され、新しいハッシュ値が保存されます。 また、過去に渡した画像が参照されてしまうことを防ぐため、渡した書類名と同じ名前を持つJPEGのみを参照するように修正されました。

3. PDFからJPEGへの変換

pdf_to_jpeg関数は、指定されたPDFファイルをページごとにJPEG画像に変換し、./imageディレクトリに保存します。 この処理には、当初問題となったpdf2imageとPopplerの代わりに、fitz (PyMuPDF) ライブラリが利用されました。

4. LLMへのデータ送信とトークン管理

call_local_llm.py (または call_api_llm.py) は、OCR結果のJSONファイルとJPEG画像をLLMに送信します。 トークン数制限への対処: 重要な改善点として、OCR結果のJSON全体を直接LLMに渡すのではなく、JSONの中からテキストコンテンツ(特にparagraphsのcontent)のみを抽出して渡すように変更しました。これにより、不必要なメタデータがLLMの入力に含まれるのを防ぎ、トークン数を大幅に削減しました (例: 22万トークンから5000トークンへ)。

プロンプトエンジニアリング: LLMから期待される出力を得るために、やはりプロンプトを具体的に記述することが非常に重要でした。

  • 抽出したい項目を明確にリストアップする。

  • 「抽出できない場合は推測せず、nullとしてください」といった具体的な指示を含める。

  • 特定の情報(例: ケアマネージャーと計画作成者が同一であること)がある場合は、プロンプトにその情報を加える。

  • 出力形式をJSON形式で厳密に指定する。

5. LLMからの応答

LLMは指定されたプロンプトと入力データに基づいて情報を抽出し、JSON形式で結果を返します。 この応答はjson_outputディレクトリに保存されます。 応答が遅いという課題に対しては、JSON全体ではなくテキストのみを渡すなどのトークン最適化が有効でした。

メイン処理のスクリプト

call_local_llm.py

import base64
import requests
from pathlib import Path
import json
from config import Config
import os

def call_ai_api(ocr_json_path: str,
                img_path: list,
                url: str = "http://localhost:11434/api/generate",
                model: str = "hf.co/mmnga/Gemma-2-Llama-Swallow-9b-it-v0.1-gguf",
                seed: int = 123,
                num_ctx: int = 4096,
                num_thread: int = 4,
                add_image: bool = False) -> requests.Response:
    """
    Azure OCR の JSON と JPEG 画像を使って AI API を呼び出す
    """

    # OCR結果を読み込む
    with open(ocr_json_path, "r", encoding="utf-8") as f:
        ocr_data = json.load(f)
    paragraphs = ocr_data.get("paragraphs", [])
    ocr_text = "\n".join(p["content"] for p in paragraphs if "content" in p) 

    system = "システムプロンプト"
    prompt = "ユーザ側プロンプト"

    # APIに送るデータ
    data = {
        "model": model,
        "stream": False,
        "system": system,
        "prompt": prompt,
        "options": {
            "seed": seed,
            "num_ctx": num_ctx,
            "num_thread": num_thread
        }
    }
    if add_image and img_path:
    # 画像ファイルを base64 に変換
        with open(img_path[0], "rb") as f:
            img_base64 = base64.b64encode(f.read()).decode("utf-8")
        data["images"] = [img_base64]

    for key, value in data.items():
        if key == "images":
            print(f"{key}: len={len(value[0])}")
        else:
            print(f"{key}: {value}")

    # API呼び出し
    local_models = requests.get("http://localhost:11434/api/tags").json()["models"]
    flag = False
    check_model = model if ':' in model else model + ':latest'
    for local_model in local_models:
        if check_model == local_model["name"]:
            flag = True
            print(f"Model '{check_model}' is at a local machine.")
            break
    if not flag:
        raise ValueError(f"Model '{check_model}' is not at a local machine. Available models: {[m['name'] for m in local_models]}")
    print("Calling AI API...")
    response = requests.post(url, json=data)
    response.raise_for_status()

    #Json化
    resp_json = response.json()
    output_dir = Path("json_output")
    os.makedirs(output_dir, exist_ok=True)
    safe_model_name = model.replace("/", "_")
    filename_base = f"test_{safe_model_name}_seed{seed}_ctx{num_ctx}_th{num_thread}_wsystem"
    filename = filename_base+"_wimage.json" if add_image else filename_base+"_woimage.json"
    with open(os.path.join(output_dir, filename), "w", encoding="utf-8") as f:
        json.dump(resp_json, f, ensure_ascii=False, indent=2)
    return response

config.py

import os
from dotenv import load_dotenv

load_dotenv()

class Config:
    """
    設定クラス: AzureのOCR設定、入力ファイル・出力ディレクトリ・JPEG保存ディレクトリを管理します。

    ENDPOINT: Azure のOCR用のエンドポイントです
    KEY: AzureのOCR用のキーです。
    DEFAULT_INPUT: 入力ファイルの指定です。(変更予定)

    属性:
        ENDPOINT (str): Azure Document Intelligence エンドポイント
        KEY (str): Azure Document Intelligence 認証キー
        DEFAULT_INPUT (str): デフォルトの入力PDFファイルパス
        OUTPUT_DIR (str): OCR結果や処理PDFの出力ディレクトリ
        IMAGE_FILE (str): PDFから変換したJPEG画像の保存ディレクトリ
    """
    # Azure設定
    ENDPOINT = os.getenv("ENDPOINT")
    KEY = os.getenv("KEY")
    AZURE_OPENAI_ENDPOINT = os.environ.get("AZURE_OPENAI_ENDPOINT")
    AZURE_OPENAI_API_KEY = os.environ.get("AZURE_OPENAI_API_KEY")
    AZURE_DEPLOYMENT_NAME = os.environ.get("AZURE_DEPLOYMENT_NAME")
    AZURE_OPENAI_VERSION = os.environ.get("AZURE_OPENAI_VERSION")

    # 入力ファイル
    DEFAULT_INPUT = "./unprocessed/test_page_1.pdf"

    # 出力ディレクトリ
    OUTPUT_DIR = "processed"

    # jpeg保存ディレクトリ
    IMAGE_FILE = "image"

    #最終出力ディレクトリ
    JSON_FILE = "json_output"

    @staticmethod
    def get_output_paths(filepath):
        import os
        filename = os.path.basename(filepath)
        filename_without, _ = os.path.splitext(filename)
        json_path = os.path.join(Config.OUTPUT_DIR, f"{filename_without}.json")
        pdf_path = os.path.join(Config.OUTPUT_DIR, f"{filename_without}_pro.pdf")
        return json_path, pdf_path

main.py

python main.py -i unprocessed/test.pdf --model gemma3:4b

のように実行します。

import argparse
from config import Config
from ocr import analyze_layout
from pdf_to_jpeg import pdf_to_jpeg
from call_local_llm import call_ai_api
from call_api_llm import call_ai_api_azure_openai
from pdf_split import split_pdf_to_pages
from pathlib import Path
# from config import Config
import os
import hashlib
import glob

if __name__ == "__main__":
    """
    メイン処理スクリプト:
    1. PDFのOCR解析を実行
    2. OCR処理済みPDFをJPEGに変換
    3. OCR結果とJPEGをAIに送信して解析結果を取得
    """

    # OCR設定入力
    parser = argparse.ArgumentParser(description="Document Intelligence Layout Analysis")
    parser.add_argument("-i", "--input", type=str, help="Input PDF file path", required=False)
    parser.add_argument("--model", type=str, help="AI model to use", default="gemma3:4b")
    parser.add_argument("--seed", type=int, help="Random seed for AI processing", default=123)
    parser.add_argument("--num-ctx", type=int, help="Number of context tokens", default=4096)
    parser.add_argument("--num-thread", type=int, help="Number of threads for AI processing", default=4)
    parser.add_argument("--add-image", action="store_true", help="Add image to AI input")
    parser.add_argument("--api-mode", type=str, choices=["local", "azure"], default="local", help="LLM API mode (local or azure)")
    args = parser.parse_args()

    # # OCR解析の呼び出し
    # analyze_layout(args.input)

    # # PDF → JPEG処理の呼び出し
    # image = pdf_to_jpeg(Config.DEFAULT_INPUT,"./image")

    pdf_path = args.input or Config.DEFAULT_INPUT #何も渡さなければconfig.pyで指定したデフォルトのまま
    output_dir = Path("./processed")
    page_pdfs = split_pdf_to_pages(pdf_path, output_dir)

    for pdf_page_path in page_pdfs:
        pdf_page_path = str(pdf_page_path)
        hash_file = pdf_page_path + ".hash"

        # --- ハッシュ計算 ---
        h = hashlib.md5()
        with open(pdf_page_path, "rb") as f:
            while chunk := f.read(8192):
                h.update(chunk)
        current_hash = h.hexdigest()

        previous_hash = None
        if os.path.exists(hash_file):
            with open(hash_file, "r") as f:
                previous_hash = f.read().strip()

        flag = True  # OCR実行フラグ
        if previous_hash == current_hash:
            flag = False  # 更新なし → OCRスキップ

        # OCR解析の呼び出し
        pdf_base = os.path.splitext(os.path.basename(pdf_page_path))[0]  # PDF名から拡張子を除いた部分
        if flag:  #OCR
            analyze_layout(pdf_page_path)
            with open(hash_file, "w") as f:
                f.write(current_hash)
            # PDF → JPEG変換(新規作成)
            pdf_to_jpeg(pdf_page_path, "./image")
            # 生成した PDF のページだけを取得
            image = sorted(glob.glob(f"./image/{pdf_base}.jpeg"))
        else:
            print("OCR・jpeg化はすでに実施済みです。スキップします。")
            image = sorted(glob.glob(f"./image/{pdf_base}.jpeg"))


        # AI呼び出し
        processed_json, processed_pdf = Config.get_output_paths(pdf_page_path)  # PDFごとのOCR JSONを取得

        if args.api_mode == "azure":
            result = call_ai_api_azure_openai(
            ocr_json_path=processed_json,
            img_path=image,
            endpoint=Config.AZURE_OPENAI_ENDPOINT,
            api_key=Config.AZURE_OPENAI_API_KEY,
            deployment_name=Config.AZURE_DEPLOYMENT_NAME,
            api_version=Config.AZURE_OPENAI_VERSION,
            pdf_base=pdf_base,
            add_image=args.add_image
            )
            # Azure OpenAI の場合は result["choices"][0]["message"]["content"] が主応答
            print(result["choices"][0]["message"]["content"])

        else:
            result = call_ai_api(
                processed_json, image, 
                model=args.model,
                seed=args.seed,
                num_ctx=args.num_ctx,
                num_thread=args.num_thread,
                add_image=args.add_image
            ).json()
            for key in ["total_duration", "load_duration", "prompt_eval_duration", "eval_duration"]:
                print(f"{key}: {result[key]*1e-9} s")
            for key in ["prompt_eval_count", "eval_count"]:
                print(f"{key}: {result[key]} tokens")
            for key in ["prompt_eval", "eval"]:
                print(f"Throughput of {key}: {result[key+'_count']/ (result[key+'_duration']*1e-9)} tokens/s")

今後の展望

今回のプロジェクトでは、さまざまなローカルSLMやLLMのテキスト抽出処理における精度比較を行いました。

今後は、書類における情報の要約や整合性検証、書類そのものの生成など、それぞれのモデルの強みを活かした選定を行いつつ、既存のプロジェクトで使用しているモデルの置き換えを行っていく予定です。

​

​