こんにちは、AI Labの神﨑です。
今回、私たちは廉価版AIモデルを活用した書類分類プロジェクトにおける、モデル間の精度比較検証を実施しました。本プロジェクトの課題は、実際の業務システム開発におけるコスト効率と実用精度のバランスと、マルチモーダル非対応のモデルがプロンプトの工夫によってマルチモーダル対応のモデルにどれだけ近づけるのかを調査することです。
このシステム開発のポイントとして、限られたリソースの中で高い書類処理能力を実現することが挙げられます。具体的には、AIモデルを書類分類タスクに適用し、複数ページにわたる文書から必要な情報を正確に抽出する能力を比較しました。
AI技術の選択肢を広げ、特にコストを重視しながらも一定水準以上の精度が求められる書類処理の自動化において、どの廉価版モデルが適しているかを明確にすることです。
私たちは、さくらのAI(gpt-oss-120b)、Azure OpenAI API(gpt-4.1-mini、gpt-5-mini)の3つのモデルを検証対象としました。この比較を通じて、単に高精度なモデルを選ぶのではなく、プロンプト設計による性能向上の限界や、料金体系を含めた総合的な実用性を評価しました。
目次
開発環境
本プロジェクトの検証は、特定のAIモデルの性能を客観的に比較し、書類分類における実用性を評価するために、以下のリソースとモデルを使用して構築しました。
使用したリソース
- Azure OpenAI: Azure上のGPTモデル(miniシリーズ)へのアクセスに使用しました。
- Azure Document Intelligence: PDF文書のテキスト抽出(OCR)機能に使用しました
- さくらのAI: gpt-oss-120bモデルへのアクセスに使用しました。
検証モデル
| モデル名 | マルチモーダル | 用途 |
|---|---|---|
| さくらのAI (gpt-oss-120b) | 非対応 | プロンプトによる性能吸収の可能性の検証対象 |
| Azure OpenAI (gpt-4.1-mini) | 対応 | 廉価版マルチモーダル対応モデル1 |
| Azure OpenAI (gpt-5-mini) | 対応 | 廉価版マルチモーダル対応モデル2 |
さくらのAIのモデル(gpt-oss-120b)は、マルチモーダル非対応という制約があるため、プロンプトのみで画像情報を処理するマルチモーダルモデルと同等の精度を出せるかが今回の検証目的の1つです。
環境構築
モデル切り替えのための環境変数設定
検証時にモデルの切り替えを容易にするため、環境変数を統合して使用する実装形式をとりました。これにより、環境変数の変更のみで提供元に関わらず実装できるよう拡張しています。
デプロイの流れ
検証プロセスを開始する前に、Document Intelligeneceを用いたPDFからのテキスト抽出処理を実装しました。今回検証するAIモデルへの入力データとしてPDFは直接指定できないため、このフェーズで構造解析やテキスト抽出を行います。
開発フローとメイン処理のスクリプト
本プロジェクトの開発フローは、段階的な検証と改善、そして最終的な精度の定量化、のような流れで進めました。主要なフェーズごとの開発プロセスや、課題解決の流れについて説明します。
基準とするプロンプトの決定と初期設定
モデルの比較を同一条件下で評価するため、まずはプロンプトの決定を行いました。複数ページにわたるPDF内の情報抽出を行い、JSON形式で返すよう指定しています。
使用したプロンプト(一部抜粋)
# システムプロンプト あなたは文書管理システムです。要求に従って入力データから必要な情報を抽出してください。 # ユーザープロンプト 文書タイトル、介護福祉サービスの利用者名、副題、日付、重要な日付の項目名、利用者番号、居宅介護支援事業所、ケアマネジャーを抽出してください。
検証用ダミーデータの作成
様々な形式や種類の書類における情報抽出精度を検証するため、こちらのフォーマットを使用してタイトルや利用者などが記入されたダミーデータを作成しました。
正解データの作成
目的とするデータの抽出が正しく行われているかの評価を行うため、各書類に対して正解データを指定したJSONファイルを作成しました。正解データとAIによる予測データを照合し、モデルごとの正解率を算出します。
正解データは以下の形式で保存しています。
{
"documentTitle": "ドキュメントタイトル",
"userName": "利用者名",
"subtitle": "副題",
"date": "日付",
"itemName": "日付の項目名",
"userNumber": "利用者番号",
"officeName": "事業所名",
"careManager": "ケアマネジャー名"
}
初回実行時の評価(1ページのみで3種類、同一プロンプト)
この初期実行の結果、取得できたデータ量(精度)に関して、以下の傾向が見られました。
gpt-4.1-mini < gpt-oss-120b < gpt-5-mini
初回実行は1ページのみの3種類の書類における情報抽出精度を行っているため情報は多くないものの、gpt-oss-120bがgpt-4.1-miniよりも高い精度を示しました。 また、gpt-5-miniに関しては、他の2つのモデルと比較しても大幅に高い精度を示しました。
gpt-ossマルチモーダル非対応である分、プロンプトで差を縮めようという考えのもと今回の検証を行いましたが、今回は同一のプロンプトでもマルチモーダル対応のgpt-4.1-miniよりも高い精度を示すことが確認されました。 しかし、gpt-5-miniはこれらのモデルよりもさらに高い精度を示しました。
プロンプトを更新して再度検証
抽出項目をより詳細に、具体的に明示するようにプロンプトを改訂し、再度実行しました。これは、マルチモーダル非対応であるさくらのAI(gpt-oss)の弱点を、より詳細な指示(プロンプトエンジニアリング)で補うことができるかの検証になります。
追加したプロンプト(一部抜粋)
介護福祉サービスの利用者名: 利用者以外の人名は不要なので無視してください。 - 例: 介護福祉サービスの提供事業者に所属する担当者名・ケアマネジャー名・相談員名・要介護者の家族の名前・代理人 など - 正式表記とふりがな表記が併記されていることがありますがふりがな表記のほうは不要なので無視してください 「様」や「殿」などの敬称は除外してください
主に表記上の詳細な指示を加えています。
プロンプト改善後の結果
プロンプト内での指示を明確にした結果、gpt-4.1-miniの精度は少し向上し、gpt-oss-120bと同程度の精度を示すようになったものの、gpt-oss-120bがgpt-5-miniの精度に近づくことはありませんでした。
全データセットを用いた精度検証
ここまで、AIモデルに読み込ませるPDF書類を3種類に絞って検証していましたが、検証に使用するPDF書類の種類を追加し、約60種類の書類に対して精度検証を行いました。
ドキュメントタイトルや日付などの各パラメータに対する正解率の算出において、テキストの類似度を0.9を閾値として正解判定を行いました。
各モデルの精度比較
全データセットを用いた精度検証の結果は以下の表のように得られました。
| モデル名 | 平均正解率 |
|---|---|
| さくらのAI (gpt-oss-120b) | 65.73% |
| Azure OpenAI (gpt-4.1-mini) | 59.48% |
| Azure OpenAI (gpt-5-mini) | 70.91% |
入力用PDF書類を3種類で検証したときと同様、gpt-oss-120bはgpt-4.1-miniよりも精度が高く、gpt-5-miniが最も高い正解率を示しています。
preview/Phi-4-mini-instruct-cpu モデルの検証
2025年10月9日よりさくらのAIで preview/Phi-4-mini-instruct-cpu が使用可能となっているため今回の検証と同一のプロンプトを用いて実行しました。
しかし、Previewモデルということもあり2~3回に1回程度の頻度でGateway Timeoutとなってしまい、安定して応答が取得できておらず、取得できた場合においても副題として担当者名を取得したり、敬称を複数付与していたりと精度はあまり良くありませんでした。
各モデルの料金比較
| モデル名 | 入力(1Mトークンあたり) | 出力(1Mトークンあたり) | 備考 |
|---|---|---|---|
| Azure OpenAI (gpt-4.1-mini) | 60.77円 | 243.08円 | キャッシュされた入力: 15.2円 |
| Azure OpenAI (gpt-5-mini) | 37.99円 | 303.85円 | キャッシュされた入力: 3.80円 |
| さくらのAI (gpt-oss-120b) | 15円 | 75円 | 1ヶ月あたり3,000リクエストまで無料 |
さくらのAI (gpt-oss-120b)の1M入力トークンあたり15円という価格設定は非常に競争力があります。さらに、月あたり3,000リクエストまで無料という枠がある点も、コスト効率を求めるプロジェクトにとって大きなメリットとなります。 対照的に、Azureのminiシリーズはキャッシュされた入力の価格が非常に低く抑えられており、反復的なタスクにおいてはコストメリットを発揮する可能性があります。特にgpt-5-miniは、gpt-4.1-miniよりも入力単価が大幅に安いにもかかわらず、精度が最も高いという結果を得ました。
最終的なスクリプトや動作解説
今回は環境変数で使用するAPIを切り替えて実行し、得られたJSONの各パラメータの類似度で正解率を算出するというシンプルな流れです。
フォルダ構成
gpt-model-comparison ├─── data/ │ ├── correct/ │ ├── input/ │ │ ├──workflow_azure.json │ │ └──workflow_sakura.json │ └── output/ │ ├── src/ │ ├── main.py │ ├── get_accuracy.py │ ├── encoder/ │ │ └── encode_image.py │ ├── extracter/ │ │ └── extract_contents.py │ ├── evaluator/ │ │ └── calculate_accuracy.py │ ├── generator/ │ │ └── interaction_with_llm.py │ ├── handler/ │ │ └── get_accuracy.py │ └── converter/ │ └── convert_pdf_to_image.py │ ├── .env ├── .gitignore ├── README.md └── requirements.txt
.env
GENERATE_MODE= #使いたいモデルAIの選択 azure, sakura MODEL_NAME= #モデル名の選択 gpt-5-mini, gpt-4.1-mini, gpt-oss-120b Azure Open AI AZURE_OPENAI_API_KEY= #APIキー AZURE_OPENAI_ENDPOINT= #エンドポイント # さくらのAI SAKURA_ENDPOINT= #エンドポイント SAKURA_TOKEN= #トークン # Document Intelligence AZURE_DOCUMENT_INTELLIGENCE_ENDPOINT= #エンドポイント AZURE_DOCUMENT_INTELLIGENCE_KEY= #APIキー
main.py
from convertor import convert_pdf_to_image
from extractor import extract_prompt, extract_contents
from encoder import encode_image
from generator import interaction_with_llm
from handler import handle_contents
from response_parser import parse_response
from dotenv import load_dotenv
from pathlib import Path
from openai import AzureOpenAI
from azure.core.credentials import AzureKeyCredential
from azure.ai.documentintelligence import DocumentIntelligenceClient
import os
import json
gpt_models = {
"sakura": {
"gpt-oss-120b": { "model_name": "gpt-oss-120b" },
"preview-Phi-4-mini-instruct-cpu": { "model_name": "preview/Phi-4-mini-instruct-cpu" }
},
"azure": {
"gpt-5-mini": { "version": "2025-04-01-preview", "model_name": "gpt-5-mini", },
"gpt-4.1-mini": { "version": "2025-01-01-preview", "model_name": "gpt-4.1-mini" }
},
}
###### 環境変数
load_dotenv()
generate_mode = os.getenv("GENERATE_MODE")
selected_gpt_model = os.getenv("MODEL_NAME")
###### Document Intelligence
doc_intelligence_endpoint = os.getenv("AZURE_DOCUMENT_INTELLIGENCE_ENDPOINT")
doc_intelligence_key = os.getenv("AZURE_DOCUMENT_INTELLIGENCE_KEY")
###### Azure OpenAI
openai_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
openai_api_key = os.getenv("AZURE_OPENAI_API_KEY")
api_version = gpt_models.get(generate_mode).get(selected_gpt_model).get("version")
###### さくらのAI
sakura_endpoint = os.getenv("SAKURA_ENDPOINT")
sakura_token = os.getenv("SAKURA_TOKEN")
base_path = Path(__file__)
document_dir = os.path.join(base_path.parents[1], "data")
input_dir = os.path.join(document_dir, "input")
output_dir = os.path.join(document_dir, "output", generate_mode, selected_gpt_model)
correct_dir = os.path.join(document_dir, "correct")
input_filename = "2025-10-27-0071-p3to5.pdf"
output_filename = "doc_params.json"
input_data_path = os.path.join(input_dir, input_filename)
workflow_azure_json = os.path.join(input_dir, "workflow_azure.json")
workflow_sakura_json = os.path.join(input_dir, "workflow_sakura.json")
if __name__ == "__main__":
system_prompt_azure, user_prompt_azure = extract_prompt.extract_prompt_for_llm(workflow_azure_json)
system_prompt_sakura, user_prompt_sakura = extract_prompt.extract_prompt_for_llm(workflow_sakura_json)
doc_intelligence_client = DocumentIntelligenceClient(
endpoint=doc_intelligence_endpoint,
credential=AzureKeyCredential(doc_intelligence_key)
)
pdf_files = sorted([f for f in os.listdir(input_dir) if f.lower().endswith(".pdf")])
for pdf_filename in pdf_files:
input_data_path = os.path.join(input_dir, pdf_filename)
print(f"Processing: {pdf_filename}")
contents_extractor = extract_contents.contentsExtractor(input_data_path, doc_intelligence_client, output_dir)
contents_extractor.extract_document_contents()
content_text = contents_extractor.extract_content_text()
user_prompt_with_ocr_azure = f"{user_prompt_azure}\n{content_text}"
user_prompt_with_ocr_sakura = f"{user_prompt_sakura}\n{content_text}"
basename = os.path.splitext(pdf_filename)[0]
suffix = basename.split("-")[-1]
if generate_mode == "azure":
openai_client = AzureOpenAI(
api_version=api_version,
azure_endpoint=openai_endpoint,
api_key=openai_api_key,
)
image_paths = convert_pdf_to_image.convert_pdf_to_png(input_data_path, output_dir)
encoded_image_list = encode_image.encode_image_base64(image_paths)
response = interaction_with_llm.fetch_azure_llm_response(
openai_client,
system_prompt_azure,
user_prompt_with_ocr_azure,
encoded_image_list,
selected_gpt_model
)
clean_response = parse_response.clear_noise(response)
response_json = json.loads(clean_response)
save_filename = f"doc_params_{suffix}.json"
contents_handler_for_file = handle_contents.ContentsHandler(input_dir, pdf_filename, output_dir, save_filename)
contents_handler_for_file.save_as_json(response_json)
elif generate_mode == "sakura":
response = interaction_with_llm.fetch_sakura_llm_response(
sakura_endpoint,
system_prompt_sakura,
user_prompt_with_ocr_sakura,
selected_gpt_model,
sakura_token
)
clean_response = parse_response.clear_noise(response)
response_json = json.loads(clean_response)
save_filename = f"doc_params_{suffix}.json"
contents_handler_for_file = handle_contents.ContentsHandler(input_dir, pdf_filename, output_dir, save_filename)
contents_handler_for_file.save_as_json(response_json)
calculate_accuracy.py
from handler import handle_contents
import os
import unicodedata
import difflib
def normalize_text(text):
if not isinstance(text, str):
return ""
text = unicodedata.normalize('NFKC', text)
text = text.strip()
text = ''.join(text.split())
return text
def similarity_score(s1, s2):
return difflib.SequenceMatcher(None, s1, s2).ratio()
def evaluate_result(output_base_dir, correct_base_dir, threshold=0.9):
results = {}
for root, dirs, files in os.walk(output_base_dir):
for filename in files:
if filename.startswith("doc_params") and filename.endswith(".json"):
output_file_path = os.path.join(root, filename)
correct_file_path = os.path.join(correct_base_dir, filename)
if not os.path.exists(correct_file_path):
print(f"正解ファイルがありません: {correct_file_path} (スキップ)")
break
output_handler = handle_contents.ContentsHandler(root, filename, None, None)
try:
predicted_data = output_handler.load_json()
except Exception as e:
print(f"予測ファイル読み込みエラー: {output_file_path}: {e}")
continue
correct_handler = handle_contents.ContentsHandler(correct_base_dir, filename, None, None)
try:
correct_data = correct_handler.load_json()
except Exception as e:
print(f"正解ファイル読み込みエラー: {correct_file_path}: {e}")
continue
total_keys = len(correct_data)
if total_keys == 0:
print(f"正解ファイルが空です: {correct_file_path}")
continue
correct_count = 0
for key, correct_value in correct_data.items():
predicted_value = predicted_data.get(key, None)
norm_pred = normalize_text(predicted_value)
norm_corr = normalize_text(correct_value)
if similarity_score(norm_pred, norm_corr) >= threshold:
correct_count += 1
accuracy = correct_count / total_keys
results[filename] = accuracy
print(f"{filename} の正解率(閾値{threshold}): {accuracy:.2%} ({correct_count}/{total_keys})")
if results:
average_accuracy = sum(results.values()) / len(results)
print(f"\n全ファイル平均正解率: {average_accuracy:.2%}")
else:
average_accuracy = None
print("評価対象のファイルがありません。")
return results, average_accuracy
精度検証ロジックの概要
各モデルの実行後、出力を正解データと比較し、パラメータごとに閾値0.9以上の確度で情報が一致しているかを判定しました。
例えば、ある文書に対して8つのパラメータ(documentTitle, userName, dateなど)を抽出する場合、そのうち6つが正しければ正解率75.00% (6/8)として算出されます。
このプロセスを全ファイルに対して実行し、最終的な平均正解率を算出することで、モデルの客観的な性能評価を実現しました。
今後の展望
今回の廉価版AIモデルの精度比較プロジェクトは、書類分類タスクにおけるモデル選定の重要な指針を示しました。
精度とコストの最適なバランス
検証の結果、Azure GPT-5-miniが平均正解率70.91%で最も高い精度を示しました。また、さくらのAI(gpt-oss-120b)は平均正解率65.73%で、gpt-4.1-mini (59.48%) を上回り、最もコスト効率が良いという結果となりました。
この結果は、必ずしもマルチモーダル非対応モデル(gpt-oss)がマルチモーダル対応の廉価版モデル(gpt-4.1-mini)に劣るわけではないことを示しています。
今回の検証で精度が最も高かったgpt-5-miniは、入力コストがgpt-4.1-miniより安い一方で出力コストが高いという特性があります。
抽出情報量が多い、あるいは複雑な処理が必要な書類に対してはgpt-5-miniを、定型的な書類や大量処理が必要な場合には、低コストのgpt-ossを活用するなど、モデルの特性とコスト構造に応じたハイブリッドな運用戦略を検討していきます。



