こんにちは、AI Labの川口あいです。
前回のブログ『書類からのテキスト抽出精度をオープンソースのAIモデルで比較してみた』では、ローカル環境で動作する小型言語モデル(SLM)を活用し、PDFドキュメントから特定情報を抽出する一連の処理フローを構築しました。
具体的には、Azure Document IntelligenceによるOCR処理を通じて得られたデータ(JSONファイルと検索可能なPDF)をもとに、ローカルのSLMに情報抽出を実行させる構成です。
今回はその応用として、前回と同じスクリプトおよび処理フローを用いながら、新たな言語モデル(Azure OpenAI ServiceのGPT-4.1、およびさくらインターネットが提供する「さくらのAI Engine(gpt-oss-120b)」)を利用したプロトタイプを開発しました。
目次
開発環境
今回のプロジェクトでは、前回使用していたローカル実行環境のOllamaの代わりにAzure OpenAIとさくらのAIを使用する構成に切り替えて実装しました。
Azure OpenAI Service(GPT-4.1)
OCR結果から情報を抽出するために使用しました。Azure OpenAI Serviceは、OpenAI の強力なモデルを備えたエンタープライズ対応の生成 AI を提供しているため、他のモデルの性能を評価する上での基準(ベンチマーク)として置きました。
OpenAIのAPIのバージョンは2025-04-01-previewを使用しました。
Azure OpenAI Service(GPT-4.1)の料金
GPT-4.1-2025-04-14 Globalは、「入力:299.02円/100万トークン、出力:1196.06/100万トークン」
さくらのAI Engine(gpt-oss-120b)
こちらもOCR結果から情報を抽出するために使用しました。さくらのAI Engineは、APIですぐ利用できることに加え、リクエスト制限内での利用が無料な点から、実用性が高いことが考えられます。
さくらのAI Engine(gpt-oss-120b)の料金
無償プラン:1ヶ月あたり3,000リクエストまで
無償プランのリクエストを超過した場合は、「入力: 0.15円/10,000トークン、出力: 0.75円/10,000トークン」
モデルごとの精度比較
抽出対象のデータ
本プロジェクトでも、経産省より公開されている委託契約書フォーマットのファイルにダミーデータを入力して使用しています。
抽出対象の項目
今回は、以下の9項目を抽出対象とします。プロンプトを調整し、取得できなかった場合はnullを格納するよう指定しました。
| 項目名 | キー名 |
|---|---|
| 文書タイトル | documentTitle |
| 申請先 | applicationTo |
| 記入日 | entryDate |
| 契約締結日 | contractDate |
| 代表者氏名 | representativeName |
| 契約件名 | contractTitle |
| 委託金額 | contractAmount |
| 計画変更が業務に及ぼす影響 | impactOfPlanChange |
| 再委託理由 | reasonForSubcontracting |
代替モデル
今回は、以下のモデルを用いた実装結果を紹介します。
- GPT-4.1
- gpt-oss-120b
GPT-4.1
GPT-4.1は、抽出精度を比較するための正解用データを作成する基準モデルとして使用しました。
抽出結果と精度
統一プロンプトで実行した結果、GPT-4.1は要求された全ての情報を正確に抽出しました。
抽出内容
{
"documentTitle": "計画変更承認書",
"applicationTo": "経済産業省大臣官房会計課長 殿",
"entryDate": "令和6年6月1日",
"contractDate": "令和6年4月1日",
"representativeName": "山田太朗",
"contractTitle": "システム開発業務委託",
"contractAmount": "5,000,000円",
"impactOfPlanChange": "納品予定日が2週間遅延しますが、業務全体への大きな支障はありません。",
"reasonForSubcontracting": "メンバーの欠員"
}
出力形式
指示通り、JSON形式で出力してくれています。
gpt-oss-120b
さくらのAI Engine(Chat completions)のgpt-oss-120bの実行結果です。
抽出結果と精度
GPT-4.1と比較しても遜色なく、要求された全ての情報を正確に抽出しました。申請先(applicationTo)の情報に関しては、より詳しく抽出してくれています。
抽出内容
{
"documentTitle": "計画変更承認書",
"applicationTo": "支出負担行為担当官 経済産業省大臣官房会計課長",
"entryDate": "令和6年6月1日",
"contractDate": "令和6年4月1日",
"representativeName": "山田太朗",
"contractTitle": "システム開発業務委託",
"contractAmount": "5,000,000円",
"impactOfPlanChange": "納品予定日が2週間遅延しますが、業務全体への大きな支障はありません。",
"reasonForSubcontracting": "メンバーの欠員"
}
出力形式
指示通り、JSON形式で出力してくれています。
追加比較
gpt-oss-120bの精度をさらに調査するため、別のPDFファイルを用いた追加比較を行います。
抽出対象のデータ
ここで使用するデータは、ふくせん版「福祉用具サービス計画書」で、以下の画像のような構成となっています。

PDFは企業内部の情報を含むため該当箇所をマスキングしてありますが、実際は該当箇所にデータがある状態で使用しました。
また、タイトルは「福祉用具サービス計画書(利用計画)」であり、”ふくせん”という文字は入っていないPDFファイルを使用しました。
抽出対象の項目
今回は、以下の8項目を抽出対象とします。プロンプトを調整し、取得できなかった場合はnullを格納するよう指定しました。例外として、以下の二つを設定しています。
- 日付の項目名のみ取得できなかった場合は、inputという固定文字列を格納する
- 「副題(subtitle)」「居宅介護支援事業所(officeName)」「居宅介護支援担当者名(careManager)」の3項目は、文書タイトルが「サービス提供票」の場合のみ抽出される
| 項目名 | キー名 |
|---|---|
| 文書タイトル | documentTitle |
| 副題 | subtitle |
| 利用者名 | userName |
| 日付 | date |
| 日付の項目名 | itemName |
| 利用者番号 | userNumber |
| 居宅介護支援事業所 | officeName |
| 居宅介護支援担当者名 | careManager |
GPT-4.1
抽出結果と精度
統一プロンプトで実行した結果、GPT-4.1は要求されたすべての情報を正確に抽出しました。
抽出内容
{
"documentTitle": "福祉用具サービス計画書",
"subtitle": null,
"userName": "井上智也様",
"date": "20241204",
"itemName": "日付",
"userNumber": "19126",
"officeName": null,
"careManager": null
}
出力形式
指示通り、JSON形式で出力してくれています。
gpt-oss-120b
抽出結果と精度
GPT-4.1と比較しても遜色なく、要求された全ての情報を正確に抽出しました。文書タイトル(documentTitle)の情報に関しては、より詳しく抽出してくれています。
抽出内容
{
"documentTitle": "福祉用具サービス計画書(利用計画)",
"subtitle": null,
"userName": "井上 智也様",
"date": "20241204",
"itemName": "日付",
"userNumber": "19126",
"officeName": null,
"careManager": null
}
出力形式
指示通り、JSON形式で出力してくれています。
比較した結果
以上の結果より、さくらのAI Engineのgpt-oss-120bモデルは、Azure OpenAIのGPT-4.1と比較し、より高い精度で文書情報を抽出してくれると分かりました。
さらに、GPT-4.1と比較して利用料金を大幅に抑えることができます。この結果から、今回の日本語文書の抽出タスクにおいては、さくらのAIが極めてコストパフォーマンスに優れた選択肢であると結論付けられます。
メイン処理のスクリプトの変更点
前回のブログで使用したスクリプトに「call_api_sakura.py」を追加しました。それに伴い、main.py、config.pyにも変更があるため、以下に追加ファイルや変更点に関して記載します。
call_api_sakura.py
さくらのAI EngineのAPIを呼び出し、OCR結果と画像を送信して解析結果を取得します。
import base64
import requests
import json
from pathlib import Path
import os
def call_ai_api_sakura_ai(
ocr_json_path: str,
img_path: list, # 複数ページなら都度ループ等
token: str,
model_name: str,
add_image: bool = False
):
"""
さくらのAIのAPI(chat/completions)でOCR JSON+画像(JPEG base64)を入力し情報抽出
"""
# OCR結果を読み込む
with open(ocr_json_path, "r", encoding="utf-8") as f:
ocr_data = json.load(f)
paragraphs = ocr_data.get("paragraphs", [])
ocr_text = "\n".join(p["content"] for p in paragraphs if "content" in p)
# with open(ocr_json_path, "r", encoding="utf-8") as f:
# ocr_data = json.load(f)
# ocr_text = ocr_data["content"]
# system / user 指示文
system = "システムプロンプト"
prompt = "ユーザープロンプト"
# さくらのAI API の messages 構造体
messages = [
{"role": "system", "content": system}
]
# 画像つける(GPT-4V対応)場合
if add_image:
# 画像base64
with open(img_path[0], "rb") as f:
img_base64 = base64.b64encode(f.read()).decode("utf-8")
messages.append({
"role": "user",
"content": [
{"type": "text", "text": prompt},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{img_base64}"}}
]
})
else:
messages.append({
"role": "user",
"content": prompt
})
# APIに送るデータ
data = {
"messages": messages,
#"max_tokens": 200,
#"temperature": 0.7,
"model": model_name
}
url = "https://api.ai.sakura.ad.jp/v1/chat/completions"
headers = {
"Accept": "application/json",
"Authorization": f"Bearer {token}",
"Content-Type": "application/json"
}
print(f"Calling Sakura AI with chat_model={model_name} ...")
response = requests.post(url, headers=headers, json=data)
try:
response.raise_for_status()
except requests.exceptions.HTTPError as e:
print("=== Response Error ===")
print("Status Code:", response.status_code)
print("Response Body:", response.text)
raise
result = response.json()
# レスポンス保存
output_dir = Path("json_output")
os.makedirs(output_dir, exist_ok=True)
filename_base = f"sakura_{model_name}_deployment"
filename = filename_base + ("_wimage.json" if add_image else "_woimage.json")
with open(os.path.join(output_dir, filename), "w", encoding="utf-8") as f:
json.dump(result, f, ensure_ascii=False, indent=2)
# 結果返却(通常 result["choices"][0]["message"]["content"] が主応答)
return result
main.pyの変更点
新たに作成した「call_api_sakura.py」から関数をインポートし、AI呼出時にさくらのAIへの条件分岐も追加しました。
さくらのAIを使用して実行する場合は、以下の通りです。
python3 main.py -i unprocessed/<情報抽出したいPDF>.pdf --api-mode sakura
-> unprocessedディレクトリに情報を抽出したいPDFを置いていることを想定しています。 -> コマンドライン引数で”入力PDFファイル” と “使用したいapi(azure or sakura)” を指定できます
import argparse
from config import Config
from ocr import analyze_layout
from pdf_to_jpeg import pdf_to_jpeg
from call_local_llm import call_ai_api
from call_api_llm import call_ai_api_azure_openai
# 追加項目↓
from call_api_sakura import call_ai_api_sakura_ai
from pdf_split import split_pdf_to_pages
from pathlib import Path
import os
import hashlib
import glob
import re
def check_hash(pdf_path: str) -> tuple[bool, str, str]:
hash_file = pdf_path + ".hash"
# --- ハッシュ計算 ---
h = hashlib.md5()
with open(pdf_path, "rb") as f:
while chunk := f.read(8192):
h.update(chunk)
current_hash = h.hexdigest()
previous_hash = None
if os.path.exists(hash_file):
with open(hash_file, "r") as f:
previous_hash = f.read().strip()
flag = True # PDF分割実行フラグ
if previous_hash == current_hash:
flag = False # 更新なし → PDF分割スキップ
return flag, current_hash, hash_file
if __name__ == "__main__":
"""
メイン処理スクリプト:
1. PDFのOCR解析を実行
2. OCR処理済みPDFをJPEGに変換
3. OCR結果とJPEGをAIに送信して解析結果を取得
"""
# OCR設定入力
parser = argparse.ArgumentParser(description="Document Intelligence Layout Analysis")
parser.add_argument("-i", "--input", type=str, help="Input PDF file path", required=False)
parser.add_argument("--model", type=str, help="AI model to use", default="llama3.1")
parser.add_argument("--seed", type=int, help="Random seed for AI processing", default=123)
parser.add_argument("--num-ctx", type=int, help="Number of context tokens", default=4096)
parser.add_argument("--num-thread", type=int, help="Number of threads for AI processing", default=4)
parser.add_argument("--add-image", action="store_true", help="Add image to AI input")
parser.add_argument("--api-mode", type=str, choices=["local", "azure", "sakura"], default="local", help="LLM API mode (local or azure)")
args = parser.parse_args()
# # OCR解析の呼び出し
# analyze_layout(args.input)
# # PDF → JPEG処理の呼び出し
# image = pdf_to_jpeg(Config.DEFAULT_INPUT,"./image")
pdf_path = args.input or Config.DEFAULT_INPUT #何も渡さなければconfig.pyで指定したデフォルトのまま
output_dir = Path("./processed")
flag, current_hash, hash_file = check_hash(pdf_path)
if flag: #PDF分割
with open(hash_file, "w") as f:
f.write(current_hash)
page_pdfs = split_pdf_to_pages(pdf_path, output_dir)
else:
print("PDF分割はすでに実施済みです。スキップします。")
page_pdfs = sorted(glob.glob(f"{output_dir}/{Path(pdf_path).stem}_page_*.pdf"))
regex_pattern = re.compile(rf"{re.escape(str(output_dir))}/{re.escape(Path(pdf_path).stem)}_page_\d+\.pdf")
page_pdfs = [p for p in page_pdfs if regex_pattern.match(p)]
print(f"処理対象のPDFページ数: {len(page_pdfs)}")
for pdf_page_path in page_pdfs:
pdf_page_path = str(pdf_page_path)
flag, current_hash, hash_file = check_hash(pdf_page_path)
# OCR解析の呼び出し
pdf_base = os.path.splitext(os.path.basename(pdf_page_path))[0] # PDF名から拡張子を除いた部分
if flag: #OCR
analyze_layout(pdf_page_path)
with open(hash_file, "w") as f:
f.write(current_hash)
# PDF → JPEG変換(新規作成)
pdf_to_jpeg(pdf_page_path, "./image")
# 生成した PDF のページだけを取得
image = sorted(glob.glob(f"./image/{pdf_base}.jpeg"))
else:
print("OCR・jpeg化はすでに実施済みです。スキップします。")
image = sorted(glob.glob(f"./image/{pdf_base}.jpeg"))
# AI呼び出し
processed_json, processed_pdf = Config.get_output_paths(pdf_page_path) # PDFごとのOCR JSONを取得
if args.api_mode == "azure":
result = call_ai_api_azure_openai(
ocr_json_path=processed_json,
img_path=image,
endpoint=Config.AZURE_OPENAI_ENDPOINT,
api_key=Config.AZURE_OPENAI_API_KEY,
deployment_name=Config.AZURE_DEPLOYMENT_NAME,
api_version=Config.AZURE_OPENAI_VERSION,
pdf_base=pdf_base,
add_image=args.add_image
)
# Azure OpenAI の場合は result["choices"][0]["message"]["content"] が主応答
print(result["choices"][0]["message"]["content"])
# 追加項目(コマンドライン引数で"sakura"を指定した場合)↓
elif args.api_mode == "sakura":
result = call_ai_api_sakura_ai(
ocr_json_path=processed_json,
img_path=image,
token=Config.SAKURA_AI_ACCOUNT_TOKEN,
model_name=Config.SAKURA_AI_MODEL_NAME,
add_image=args.add_image
)
print(result["choices"][0]["message"]["content"])
# ここまで↑
else:
result = call_ai_api(
ocr_json_path=processed_json,
img_path=image,
model=args.model,
seed=args.seed,
num_ctx=args.num_ctx,
num_thread=args.num_thread,
add_image=args.add_image
).json()
if args.api_mode == "local" and "response" in result:
print(result["response"])
required_keys = [
"total_duration",
"load_duration",
"prompt_eval_duration",
"eval_duration",
"prompt_eval_count",
"eval_count"]
if all(key in result for key in required_keys):
print("=== Performance Metrics ===")
for key in ["total_duration", "load_duration", "prompt_eval_duration", "eval_duration"]:
print(f"{key}: {result[key]*1e-9} s")
for key in ["prompt_eval_count", "eval_count"]:
print(f"{key}: {result[key]} tokens")
for key in ["prompt_eval", "eval"]:
print(f"Throughput of {key}: {result[key+'_count']/ (result[key+'_duration']*1e-9)} tokens/s")
config.py
設定ファイルにさくらのAI Engineのアカウントトークンなどの情報を追加しました。
import os
from dotenv import load_dotenv
load_dotenv()
class Config:
"""
設定クラス: AzureのOCR設定、入力ファイル・出力ディレクトリ・JPEG保存ディレクトリを管理します。
ENDPOINT: Azure のOCR用のエンドポイントです
KEY: AzureのOCR用のキーです。
DEFAULT_INPUT: 入力ファイルの指定です。(変更予定)
属性:
ENDPOINT (str): Azure Document Intelligence エンドポイント
KEY (str): Azure Document Intelligence 認証キー
DEFAULT_INPUT (str): デフォルトの入力PDFファイルパス
OUTPUT_DIR (str): OCR結果や処理PDFの出力ディレクトリ
IMAGE_FILE (str): PDFから変換したJPEG画像の保存ディレクトリ
"""
# Azure設定
ENDPOINT = os.getenv("ENDPOINT")
KEY = os.getenv("KEY")
AZURE_OPENAI_ENDPOINT = os.environ.get("AZURE_OPENAI_ENDPOINT")
AZURE_OPENAI_API_KEY = os.environ.get("AZURE_OPENAI_API_KEY")
AZURE_DEPLOYMENT_NAME = os.environ.get("AZURE_DEPLOYMENT_NAME")
AZURE_OPENAI_VERSION = os.environ.get("AZURE_OPENAI_VERSION")
# Sakura設定(追加項目)
SAKURA_AI_ACCOUNT_TOKEN = os.environ.get("SAKURA_AI_ACCOUNT_TOKEN")
SAKURA_AI_MODEL_NAME = os.environ.get("SAKURA_AI_MODEL_NAME")
# 入力ファイル
DEFAULT_INPUT = "./unprocessed/test_page_1.pdf"
# 出力ディレクトリ
OUTPUT_DIR = "processed"
# jpeg保存ディレクトリ
IMAGE_FILE = "image"
#最終出力ディレクトリ
JSON_FILE = "json_output"
@staticmethod
def get_output_paths(filepath):
import os
filename = os.path.basename(filepath)
filename_without, _ = os.path.splitext(filename)
json_path = os.path.join(Config.OUTPUT_DIR, f"{filename_without}.json")
pdf_path = os.path.join(Config.OUTPUT_DIR, f"{filename_without}_pro.pdf")
return json_path, pdf_path
今後の展望
本プロジェクトでは、さくらのAIが特定の日本語文書において、Azure OpenAIのGPT-4.1を上回る高い精度で情報を抽出できることが明らかになりました。
今後はこの結果を踏まえ、実業務で利用しているAzure OpenAIのAPIを、よりコストパフォーマンスに優れたさくらのAIに置き換えることを検討していきます。また、単純な情報抽出だけでなく、さらなる応用も探っていく予定です。



