AIを活用して書類内の伏せ字の読み取り精度を改善する

こんにちは、AI Labの神﨑 睦人です。

今回のプロジェクトは、福祉用具業界特有の課題として存在する、伏せ字を含む利用者名の読み取り精度改善を目的として実施しました。

個人情報保護の観点から、FAXで送信される書類には利用者の名前が「⼭●太●」のように伏せ字にされるケースが多く存在します。

この伏せ字をAIが正確に読み取り、氏名やフリガナ、管理番号などの利用者情報を含むリスト(CSV)と照合して、正確な氏名(例:「⼭⽥太郎」)を予測して返すシステムを検証・開発することを目標にしていました。

このプロジェクトでは、コスト削減と精度向上を同時に実現しています。利用者CSVには数千件の氏名が含まれる場合も想定しており、毎回このリスト全体をプロンプトに渡すと、トークン消費が著しく増大し、コストが高騰してしまいます。そのため、効率的に利用者情報を含めたプロンプト作成法を講じる必要があります。

また、伏せ字の読み取り課題だけでなく、OCRが漢字を誤認識するケース(例:「⼭本シヅエ」を「⼭本シゾエ」のように読み取ってしまう場合)も考慮し、利用者CSVをもとに正しく判断できる仕組みの構築が求められます。

本プロジェクトでは、OCRによって抽出された伏せ字情報に加えて、書類に記載されている管理番号(利用者の番号に該当する強力な判断材料)などの利用者固有の情報を優先的に活用する戦略を採用しました。

これにより、OCR結果が不正確であったり、伏せ字のため候補が複数存在したりする場合でも、利用者リストの中から正確なユーザーを特定し、元の正しい氏名を高い精度で返す処理を実現しました。

目次

開発環境

本プロジェクトの開発では、Microsoft AzureのAIリソースを活用しました。

使用した主要なリソースおよびツールは以下の通りです。

1. Azure Document Intelligence

PDFドキュメントからのOCR(光学文字認識)を実行し、管理番号、伏せ字の氏名、フリガナなどの初期情報を抽出するために使用しました。

2. Azure OpenAI Service (GPT-4o)

OCR結果からのユーザ情報の抽出や、Document Intelligenceで抽出された情報とフィルタリングされた利用者リストを照合し、最終的な正しいユーザーを特定するための推論処理(LLMの活用)に使用しました。OpenAIのAPIバージョンは 2024-12-01-preview を使用しました。

環境構築

開発はPython環境で行い、必要なライブラリのインストールとデータ準備を行いました。

1. 仮想環境の構築と依存関係のインストール

プロジェクトを開始するために、仮想環境を作成し、必要な依存関係をインストールしました。

python3 -m venv venv

source ./venv/bin/activate

pip install -r requirements.txt

2. ダミーデータの作成と配置

検証に必要なデータセットを作成しました。

2.1 利用者リスト(CSV)の作成

管理番号(数字5桁)、利用者の名前(漢字、フリガナ)が記載された架空の氏名サンプルリストとしてCSVデータを作成しました。今回は1500名分の名前データを用意し、この中にはOCR認識ミスが起こりやすい名前や、「山本太郎と山⽥太郎」のような似た名前を持つユーザーのバリエーションを含めました。

サンプルユーザリスト(CSV)は次のようにユーザ情報を保存しています(一部抜粋)。

管理番号氏名フリガナ
10001山本シヅエヤマモト シヅエ
10002山本シゾエヤマモト シゾエ
10003山本太郎ヤマモト タロウ
10004山田太郎ヤマダ タロウ
10005佐藤健サトウ ケン
10006鈴木大悟スズキ ダイゴ
10007鈴木光スズキ コウ
10008小林優コバヤシ ユウ
10009林優ハヤシ ユウ
10010高橋花タカハシ ハナ
10011松本一郎マツモト イチロウ
10012川田豪カワタ ゴウ
10013川口豪カワグチ ゴウ
10014佐々木綾乃ササキ アヤノ
10015佐々木礼乃ササキ レイノ
10016近藤一樹コンドウ カズキ
10017近藤和樹コンドウ カズキ
10018石田浩司イシダ コウジ
10019原悠ハラ ユウ
10020森本美佐子モリモト ミサコ
10021村上直樹ムラカミ ナオキ
10022村上尚樹ムラカミ ナオキ
10023大野真オオノ マコト
10024大野眞オオノ マコト
10025長谷川亮ハセガワ リョウ
10026長谷亮ナガタニ リョウ
10027高橋涼介タカハシ リョウスケ
10028高橋圭介タカハシ ケイスケ
10029増田大輔マスダ ダイスケ
10030増田太輔マスダ ダイスケ
10031平野健太ヒラノ ケンタ
10032平田健太ヒラタ ケンタ
10033藤本花子フジモト ハナコ
10034藤本華子フジモト ハナコ
10055三浦旬ミウラ シュン
10056三浦絢ミウラ ケン
10037青木涼アオキ リョウ
10038青木亮アオキ リョウ
10039西村悠ニシムラ ユウ
10040西村優ニシムラ ユウ
10041岩田拓海イワタ タクミ
10042岩田匠イワタ タクミ
10043島田光シマダ ヒカリ
10044島田輝シマダ ヒカル
10045金子太一カネコ タイチ
10046金子大地カネコ ダイチ
10047安藤愛アンドウ アイ
10048安藤藍アンドウ アイ
10049野口陽子ノグチ ヨウコ
10050野口洋ノグチ ヨウ
・・・・・・・・・

2.2 ユーザ名に伏せ字を含むPDFデータの作成

CSVデータに基づいてダミーPDFデータを作成しました。PDFには管理番号と氏名、フリガナのみを記入し、特に氏名やフリガナには◻や▲などの伏せ字を施しました。今回は伏せ字を含む利用者名が記載されている sample.pdf を入力データとして使用します。

3. モジュール構造とファイル格納

処理の流れを明確にするため、機能ごとにフォルダを分けたモジュール構造を採用しました。

入力データ格納

ローカル環境の string_reconstruction/pdf となるようにフォルダを作成し、そこにダミーPDFを保存しました。

構造

  • src/extractor/: OCRと初期抽出を担当するモジュールを格納しました。
  • src/identifier/: 抽出結果を基にユーザーを特定するロジック(LLM連携部分)を格納しました。
  • user_list/: sample_name.csv などの利用者リストを配置しました。
  • output_json/: 処理を実行すると、結果を保存するためのこのフォルダが自動で作成されます。

メイン処理と開発フロー

開発は以下のステップで進めました。

1. OCRによる初期抽出処理の実装

まず、作成したダミーPDFから管理番号、氏名、フリガナを抽出する処理をDocument Intelligenceを利用して実装しました。

このステップでは、OCRによるテキスト化と、Open AIを利用したユーザー情報抽出を組み合わせています。抽出結果はJSON形式で、以下のような形で保存されます。

{
    "管理番号": "10003",
    "利用者名": "○本○郎",
    "フリガナ": "○モト○ロウ"
}

この初期抽出の結果は output_json フォルダに保存され、後の特定処理の入力として使用します。ここでは、抽出結果(OCR結果)と最終的な抽出結果の2つのJSONファイルが保存されます。

2. LLMによるユーザー特定処理の追加

抽出された伏せ字情報と利用者リストを用いて、LLM(GPT-4o)が正確なユーザーを特定するコアロジックを実装しました。

2.1 コスト最適化のためのフィルタリング処理

今回のプロジェクトでは大規模な利用者リストでの実装も想定しており、トークン消費を抑える必要がありました。

対処法

Open AIに渡すプロンプトの情報を削減するため、類似度計算を行うRapidFuzzライブラリを用いてOCR結果の候補者名とユーザリストの候補者名とを比較してスコアを算出しました。算出したスコアを元に上位20件を候補者としてプロンプトに含めることで、トークンの消費量を大きく削減しました。

2.2 高精度特定を実現するためのプロンプト戦略

伏せ字による情報不足や、OCRによる誤認識(例:伏せ字が他の漢字と読み取られる)が発生する可能性があるため、単に氏名だけを頼りにするだけでは精度が低下してしまいます。

対処法

管理番号の優先利用指示 LLMへの指示(プロンプト)において、伏せ字を含む氏名やフリガナ以外の情報、特に管理番号などの他の情報を優先して特定に使用するよう明示的に指定しました。管理番号は利用者番号に該当し、紐づけにおける最も信頼性の高い判断材料となるためです。

このプロンプト設計の結果、ユーザー候補が複数存在するケースや、PDFから直接抽出された氏名の情報が誤っている場合でも、管理番号を優先することで正確に予測されるようになりました。

3. 精度検証フェーズ

最後に、システムの堅牢性を確認するため、入力データに含まれる情報を増やした状態での検証を実施しました。

検証内容

管理番号、氏名、フリガナのみを記入したPDFでの検証を行ったのち、参照すべきでない情報、つまりPDF内の他の欄も埋めた状態で処理を実行し、精度が下がることなく特定できるかを確認しました。

検証結果

検証に用いた5パターン全てにおいて、意図した通りの予測結果を導出できました。この結果から、プロンプトで管理番号の優先利用を指示しているため、入力情報が増えても、またOCR結果が不正確であっても、システムの精度が維持されることが証明されました。

最終的なスクリプトや動作解説

最終的に構築したシステムのファイル構造やスクリプト、実際の動作における入出力の解説を行います。

1.メインスクリプト

predict_user.py

import os
import json
from dotenv import load_dotenv
from openai import AzureOpenAI

load_dotenv()

client = AzureOpenAI(
    api_version=os.getenv("OPENAI_API_VERSION"),
    azure_endpoint=os.getenv("OPENAI_ENDPOINT"),
    api_key=os.getenv("OPENAI_API_KEY")
)

deployment = os.getenv("OPENAI_DEPLOYMENT_NAME")

def predict_username(extracted_user, json_candidates, output_path="../output/predicted_user.json"):
    prompt = f"""
以下の情報から、抽出された伏せ字を含む氏名の元の氏名を、候補者名から特定してください。
ただし、利用者名やフリガナよりも管理番号などの他の情報を優先して参照してください。
出力は必ず以下のJSONフォーマットに準拠し、これ以外の出力は必要ありません:
    [
        {{
            "管理番号": "...",
            "利用者名": "...",
            "フリガナ": "..."
        }}
    ]

抽出されたユーザ情報:
{extracted_user}

候補者名:
{json_candidates}
"""

    response = client.chat.completions.create(
        model=deployment,
        messages=[
            {"role": "system", "content": "あなたは与えられた情報から氏名を特定するアシスタントです。"},
            {"role": "user", "content": prompt}
        ],
        max_tokens=800,
        temperature=0
    )

    predicted_name_text = response.choices[0].message.content.strip()
    predicted_name_text = predicted_name_text.replace("```json", "").replace("```", "").strip()

    if predicted_name_text.startswith("[") and predicted_name_text.endswith("]"):
        try:
            arr = json.loads(predicted_name_text)
            if isinstance(arr, list) and len(arr) > 0:
                predicted_name_text = json.dumps(arr[0], ensure_ascii=False)
        except Exception:
            pass

    try:
        extracted = json.loads(predicted_name_text)
    except json.JSONDecodeError:
        extracted = {"raw_output": predicted_name_text}

    with open(output_path, "w", encoding="utf-8") as f:
        json.dump(extracted, f, ensure_ascii=False, indent=2)

    print(f"予測結果を {output_path} に保存しました")
    return extracted

main.py

from extractor import extract_and_analyze
from identifier import compare_username, predict_user
from evaluator import evaluate_accuracy, evaluate_candidates_name
import os
import time


if __name__ == "__main__":
    pdf_names = ["test_data_1", "test_data_2", "test_data_3", "test_data_4", "test_data_5"]
    answer_csv = "../user_list/sample_name.csv"
    total_accuracy = 0
    count = 0

    for pdf_name in pdf_names:
        pdf_path = f"../masked_pdf/{pdf_name}.pdf"
        base_path = f"../output_json/{pdf_name}"

        final_result = extract_and_analyze.analyze_read_local(
            pdf_path, output_dir="../output_json", base_name=pdf_name
        )

        reconstructor = compare_username.StringReconstructor(answer_csv)
        extracted_user = final_result
        extracted_name = final_result["利用者名"]

        # CSVから候補を抽出
        df = reconstructor.candidate_names(extracted_name)

        # 類似度で候補を絞り込み(上位20件)
        candidates = evaluate_candidates_name.filter_candidates(df, extracted_name, top_n=20)
        candidates = candidates[["管理番号", "氏名", "フリガナ"]]

        # JSONに変換して予測処理へ
        json_candidates = candidates.to_json(orient="records", force_ascii=False)
        predict_user.predict_username(
            extracted_user,
            json_candidates,
            output_path=f"{base_path}_predicted_user.json"
        )

        masked_file = f"{base_path}_masked_user.json"
        pred_file = f"{base_path}_predicted_user.json"

        if os.path.exists(masked_file) and os.path.exists(pred_file) and os.path.exists(answer_csv):
            acc = evaluate_accuracy.calc_accuracy(masked_file, pred_file, answer_csv)
            total_accuracy += acc
            count += 1
        else:
            print(f"{masked_file} または {pred_file} または {answer_csv} が見つかりません。")

        # 各PDFごとに数秒待機(負荷軽減用)
        time.sleep(3)

    if count > 0:
        mean_accuracy = total_accuracy / count
        print(f"\n全体の平均正解率: {mean_accuracy:.2f}")
    else:
        print("検証できた件数がありません。")

2.フォルダ構造

本プロジェクトのコードは以下のような構造になっています。

string_reconstruction/
├── src/
│   ├── main.py
│   ├── extractor/
│   │   ├── extract_and_analyze.py  // OCRと初期抽出
│   │   └── extract_user.py
│   └── identifier/
│       ├── compare_username.py    // 名前比較ロジック
│       └── predict_user.py        // LLMによるユーザー特定ロジック
├── user_list/
│   └── sample_name.csv
├── output_json/                   // 結果格納
├── masked_pdf/                    // 入力PDF格納
├── .env                           // 環境変数
└── requirements.txt

3.動作解説と入出力結果

入力されたPDFから管理番号や伏せ字を抽出し(sample_masked_user.json)、その後LLMがリストを照合して正確なユーザー情報を特定します(sample_predicted_user.json)。

動作結果の例(管理番号による正確な特定)

特に、OCRによる初期抽出時点で誤認識が発生した場合でも、管理番号の参照により予測精度を保った例を以下に示します。

初期抽出結果 (sample_masked_user.json)

OCRの読み取り時に伏せ字が記号(ㅇ)として認識されたり、不正確な情報として抽出されています。

{
    "管理番号": "10003",
    "利用者名": "○本 ㅇ郎",
    "フリガナ": "○モト ○ロウ"
}
最終予測結果 (sample_predicted_user.json)

プロンプトに従って管理番号 10003 を優先的に参照し、利用者リストと照合した結果、正確なユーザー情報に修正されています。

{
    "管理番号": "10003",
    "利用者名": "山本 太郎",
    "フリガナ": "ヤマモト タロウ"
}
動作結果の例(伏せ字パターンでの特定)

空白を伏せ字として用いたことにより氏名の一部が欠落している場合でも、正確に特定できました。

初期抽出結果 (sample_masked_user.json)
{
  "管理番号": "10025",
  "利用者名": "長谷 亮",
  "フリガナ": "ハセ リョウ"
}
最終予測結果 (sample_predicted_user.json)

管理番号 10025 と部分的な文字情報から、リスト内の正確な氏名が特定されました。

{
  "管理番号": "10025",
  "利用者名": "長谷川 亮",
  "フリガナ": "ハセガワ リョウ"
}

管理番号をもとに、漢字とフリガナがそれぞれ正しいのかを見て正解率を算出してみました。

OCR結果を ../output_json/test_data_1_ocr.json に保存しました
抽出結果を ../output_json/test_data_1_masked_user.json に保存しました
ユーザー情報を ../output_json/test_data_1_masked_user.json に保存しました
予測結果を ../output_json/test_data_1_predicted_user.json に保存しました

管理番号: 10024
予測: 大野眞 (オオノ マコト)
正解: 大野眞 (オオノ マコト)
正解率: 1.00 (2/2フィールド一致)

OCR結果を ../output_json/test_data_2_ocr.json に保存しました
抽出結果を ../output_json/test_data_2_masked_user.json に保存しました
ユーザー情報を ../output_json/test_data_2_masked_user.json に保存しました
予測結果を ../output_json/test_data_2_predicted_user.json に保存しました

管理番号: 10012
予測: 川田豪 (カワタ ゴウ)
正解: 川田豪 (カワタ ゴウ)
正解率: 1.00 (2/2フィールド一致)

OCR結果を ../output_json/test_data_3_ocr.json に保存しました
抽出結果を ../output_json/test_data_3_masked_user.json に保存しました
ユーザー情報を ../output_json/test_data_3_masked_user.json に保存しました
予測結果を ../output_json/test_data_3_predicted_user.json に保存しました

管理番号: 10045
予測: 金子太一 (カネコ タイチ)
正解: 金子太一 (カネコ タイチ)
正解率: 1.00 (2/2フィールド一致)

OCR結果を ../output_json/test_data_4_ocr.json に保存しました
抽出結果を ../output_json/test_data_4_masked_user.json に保存しました
ユーザー情報を ../output_json/test_data_4_masked_user.json に保存しました
予測結果を ../output_json/test_data_4_predicted_user.json に保存しました

管理番号: 10025
予測: 長谷川亮 (ハセガワ リョウ)
正解: 長谷川亮 (ハセガワ リョウ)
正解率: 1.00 (2/2フィールド一致)

OCR結果を ../output_json/test_data_5_ocr.json に保存しました
抽出結果を ../output_json/test_data_5_masked_user.json に保存しました
ユーザー情報を ../output_json/test_data_5_masked_user.json に保存しました
予測結果を ../output_json/test_data_5_predicted_user.json に保存しました

管理番号: 10003
予測: 山本太郎 (ヤマモト タロウ)
正解: 山本太郎 (ヤマモト タロウ)
正解率: 1.00 (2/2フィールド一致)


全体の正解率: 1.00

このように、OCR + Open AIによるユーザー情報抽出時点ではOCRが伏せ字を他の漢字と読み取ったり、誤って予測していたりするケースがありましたが、プロンプトで管理番号などの情報を優先的に参照するよう指示したことで、最終的な予測精度を高く維持することができました。

4.LLMモデルを変更して精度を検証

Azure AI Foundryでデプロイできる他のモデルでも同様のスクリプトで検証してみました。

各モデルの検証結果

モデル名全体の正解率所感
gpt-4.1-nano0%プロンプトで管理番号などの他の要素の方を優先して参照するよう指示しても、OCR結果をそのまま使っているような応答を示した
gpt-5-nano0%空の応答や単純なテキスト抽出におけるミスなどが目立った
gpt-oss-120b80%伏せ字が空白の場合に漢字の取得ミスが見られたが、その他の三角や丸による伏せ字には問題なく対応できていた
o4-mini100%問題なく取得できていた
grok-4-fast-reasoning100%o4-miniと同様、すべてきれいに取れていた
gpt-5-mini100%こちらもすべて取得できていた

100万トークンあたりの価格

モデル名InputOutput
gpt-5-mini$0.25$2.00
grok-4-fast-reasoning$0.43$1.73
o4-mini$1.10$4.40

検証結果を見るとo4-mini、grok-4-fast-reasoning、gpt-5-miniはどれも100%の精度で出力してくれています。 出力が極端に多いような処理の場合にはgrok-4-fast-reasoningの方が安く済む場合もありますが、トータルコストの安定性を考えるとgpt-5-miniを選択するのが良いといえるでしょう。

今後の展望

本プロジェクトを通じて、福祉用具業界特有の「伏せ字の利用者名読み取り精度改善」という重要な課題に対し、LLMとOCR技術を組み合わせた、コスト効率と精度向上を両立させたソリューションを構築し、検証を完了しました。

今回は管理番号をキーとして検証しましたが、管理番号が存在しない場合や、さらに複雑な伏せ字パターン、あるいは手書きの伏せ字に対してもそのユーザ情報を含む他のドキュメントを参照するなどのアプローチにより精度の向上が期待できます。

​

​