介護書類からメタデータを自動抽出してみた

こんにちは。AILabの堂上拓です。

今回はMicrosaas開発シリーズとして、OCRツールを利用して介護書類から自動的にKey-Valueペアを抽出するプロトタイプを作成しました。 このプロトタイプは、介護事業所でよく使われる「居宅サービス計画書」などの帳票から、利用者名・生年月日・認定有効期間などの重要な情報を自動で読み取り、構造化データとして出力できるものです。

以下のような表形式の書類、皆さんも一度は目にしたことがあるのではないでしょうか?

居宅サービス計画書のサンプル

これらの書類から手作業で情報を転記するのは、非常に非効率でミスの原因にもなります。 今回開発したプロトタイプは、罫線検出・OCR・形態素解析・NER(固有表現抽出)を組み合わせて、その作業を自動化するものです。

本プロトタイプの特徴:LLMを使わない構造的アプローチ

本プロトタイプの最大の特徴は、AIをOCR(文字認識)でしか使用していないという点です。

近年、ChatGPTやClaudeなどの大規模言語モデル(LLM)を使って書類から情報を抽出するアプローチが注目されていますが、本プロトタイプではあえてLLMを使わず、以下の理由からルールベース・構造解析ベースのアプローチを採用しました。

LLMを使わないメリット:

  • 低コスト: LLM APIの呼び出しコストが不要。大量の書類を処理してもコストが一定
  • 高速処理: LLMへのAPI呼び出し待ち時間がないため、処理が高速
  • 安定した出力: 同じ入力に対して常に同じ結果を返す(LLMの「揺れ」がない)
  • オフライン動作: OCR以外はローカルで完結するため、機密書類の処理にも適している
  • デバッグ容易: 各処理ステップが明確で、問題発生時の原因特定が容易

本プロトタイプで使用している主な技術:

  • OCR(Azure Document Intelligence): 書類の文字を読み取る部分のみAIを使用
  • NER(GiNZA): 「田中太郎」が人名か、「東京都〇〇」が住所か、などを判定する軽量なNLPモデル

それ以外の処理(罫線検出、セル構築、Key-Valueマッチング、スコアリング)は全て、画像処理・座標計算・正規表現・あいまい文字列照合といった決定論的なアルゴリズムで実現しています。

それでは開発の経緯とプロトタイプの仕組みについてご説明します。

目次

開発環境

本プロトタイプで使用した技術スタックと構成は以下のとおりです。

Azure Document Intelligence

書類内の文字情報の抽出に、OCR精度の高いAzure Document Intelligenceを使用しました。 このサービスは手書き文字にも対応しており、表形式の書類でも高い精度でテキストを抽出できます。

OpenCV・PyMuPDF

PDFから罫線(表の線)を検出するために、OpenCV(画像処理)とPyMuPDF(PDF→画像変換)を使用しました。 罫線の交点を検出することで、表のセル構造を把握し、OCRで分断されたテキストを正しく結合します。

GiNZA(日本語NLP)

値候補のスコアリングにGiNZAの固有表現抽出(NER)を活用しました。 「田中 太郎」が人名なのか、「東京都杉並区〇〇」が住所なのかを判定し、適切なキーと値のマッチングを実現しています。

RapidFuzz

OCRで抽出したキー(ラベル)と、あらかじめ定義したメタデータキー(「利用者名」「生年月日」など)をマッチングするために、あいまい文字列照合ライブラリのRapidFuzzを使用しました。

Janome

日本語形態素解析にJanomeを使用し、テキストがラベル(キー)らしいか、値らしいかを判定しています。

Tesseract OCR

PDF向き補正のために、Tesseract OCRのOSD(Orientation and Script Detection)機能を使用しています。 スキャンされたPDFが90°や180°回転している場合に、ページの向きを自動検出し、正しい向きに補正します。

Python

全体の処理をPythonで実装しています。主要なライブラリは以下の通りです:

  • azure-ai-formrecognizer: Azure Document Intelligence SDK
  • opencv-python: 画像処理
  • PyMuPDF (fitz): PDF処理
  • spacy + ja_ginza: 日本語NLP・NER
  • rapidfuzz: あいまい文字列照合
  • janome: 形態素解析
  • pytesseract: Tesseract OCRのPythonラッパー(PDF向き検出用)

処理フロー概要

本プロトタイプの処理フローは以下の通りです:

  1. PDF読み込み → PDFファイルを入力として受け取る
  2. PDF向き補正 → ページの向きを検出し、必要に応じて回転補正
  3. 罫線検出 → PDFを画像化し、OpenCVで水平線・垂直線を検出
  4. 交点検出 → 水平線と垂直線の交点からセル(矩形)を構築
  5. OCR実行 → Azure Document Intelligenceでテキスト抽出
  6. セル内テキスト結合 → OCRで分断されたテキストをセル単位で結合
  7. Key-Value抽出 → ラベル(キー)と値のペアを検出
  8. スコアリング → GiNZA NERとパターンマッチでvalue候補をスコアリング
  9. 日付の正規化 → 和暦から西暦への変換、フォーマット統一
  10. メタデータ出力 → 構造化されたJSONとして出力

以下では、各ステップについて詳しく説明していきます。

PDF向き補正

スキャンされた書類は、しばしば90°や180°回転した状態でPDF化されていることがあります。 このままOCRを実行すると、文字認識や罫線検出が正しく行えません。

本プロトタイプでは、Tesseract OCRのOSD(Orientation and Script Detection)機能を利用して、ページの向きを自動検出し、必要に応じて回転補正を行います。

def detect_page_orientation(pdf_path: str, page_num: int = 0) -> dict:
    """PDFページの向きを検出する"""
    # PDFを画像に変換
    doc = fitz.open(pdf_path)
    page = doc[page_num]
    pix = page.get_pixmap(dpi=150)
    img = Image.frombytes("RGB", [pix.width, pix.height], pix.samples)

    # Tesseractで向きを検出
    osd = pytesseract.image_to_osd(img, output_type=pytesseract.Output.DICT)

    return {
        "orientation": osd["orientation"],  # 検出された向き(0, 90, 180, 270)
        "rotation_needed": osd["rotate"],   # 修正に必要な回転角度
        "confidence": osd["orientation_conf"],  # 信頼度
    }

検出された回転角度に基づいてPDFページを回転させ、正しい向きに補正してから後続の処理を行います。 これにより、横向きや上下逆さまにスキャンされた書類でも、正しくKey-Valueを抽出できるようになっています。

罫線検出

介護書類の多くは表形式になっており、OCRは表のセルをまたいでテキストを分断してしまうことがあります。 これを解決するために、まず罫線(表の線)を検出し、セルの境界を特定します。

PDFを画像に変換

最初に、PDFをPyMuPDFを使って画像に変換します。解像度(DPI)を指定することで、罫線検出の精度を調整できます。

def pdf_to_image(pdf_path: str, dpi: int = 150, page_num: int = 0) -> np.ndarray:
    """PDFを画像に変換する"""
    doc = fitz.open(pdf_path)
    page = doc[page_num]
    zoom = dpi / 72
    mat = fitz.Matrix(zoom, zoom)
    pix = page.get_pixmap(matrix=mat)
    img = np.frombuffer(pix.samples, dtype=np.uint8).reshape(
        pix.height, pix.width, pix.n
    )
    if pix.n == 4:
        img = cv2.cvtColor(img, cv2.COLOR_RGBA2RGB)
    doc.close()
    return img

モルフォロジー演算による罫線検出

OpenCVのモルフォロジー演算を使って、水平線と垂直線を別々に検出します。 横長のカーネルで水平線を、縦長のカーネルで垂直線を抽出できます。

def detect_lines(img: np.ndarray, line_min_length: int = 50) -> tuple:
    """罫線を検出する"""
    gray = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY)
    _, binary = cv2.threshold(gray, 200, 255, cv2.THRESH_BINARY_INV)

    # 水平線検出(モルフォロジー演算)
    h_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (line_min_length, 1))
    h_lines = cv2.morphologyEx(binary, cv2.MORPH_OPEN, h_kernel)

    # 垂直線検出
    v_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (1, line_min_length))
    v_lines = cv2.morphologyEx(binary, cv2.MORPH_OPEN, v_kernel)

    return h_lines, v_lines

以下は罫線検出結果の可視化画像です。赤い線が検出された罫線を示しています:

罫線検出結果

交点検出とセル構築

検出された水平線と垂直線の交点を計算し、セル(矩形)を構築します。 交点は表のセルの角に対応するため、4つの交点で囲まれた領域が1つのセルになります。

def find_intersections(h_lines: list[dict], v_lines: list[dict]) -> list[dict]:
    """水平線と垂直線の交点を検出する(太さを考慮)"""
    intersections = []
    for h_line in h_lines:
        h_y_min = h_line["y_min"]
        h_y_max = h_line["y_max"]
        h_x_start = h_line["x_start"]
        h_x_end = h_line["x_end"]

        for v_line in v_lines:
            v_x_min = v_line["x_min"]
            v_x_max = v_line["x_max"]
            v_y_start = v_line["y_start"]
            v_y_end = v_line["y_end"]

            # 範囲が重なっているかチェック
            x_overlap = ranges_overlap(v_x_min, v_x_max, h_x_start, h_x_end)
            y_overlap = ranges_overlap(h_y_min, h_y_max, v_y_start, v_y_end)

            if x_overlap and y_overlap:
                intersections.append({"x": v_line["x"], "y": h_line["y"]})

    return intersections

交点検出結果の可視化(青線:水平線、緑線:垂直線、赤点:交点):

交点検出結果

OCR実行とセル内テキスト結合

Azure Document Intelligenceは優秀なOCRですが、表形式の書類では1つのセル内のテキストが複数の「line」として分断されることがあります。

例えば「田中 太郎」が「田中」と「太郎」に分かれてしまうことがあります。 これを解決するために、検出したセルの境界を使って、同じセル内のテキストを結合します。

単語をセルに割り当てる

OCRで取得した各テキストの中心座標を計算し、どのセルに属するかを判定します。

def assign_words_to_cells(
    cells: list[dict], ocr_lines: list[dict], dpi: int = 150
) -> tuple[list[dict], list[dict]]:
    """OCRの単語を適切なセルに割り当てる"""
    words = []
    for line in ocr_lines:
        content = line.get("content", "")
        polygon = line.get("polygon", [])

        if content and len(polygon) == 8:
            # 単語の中心座標を計算
            center_x, center_y = get_word_center(polygon, dpi)
            words.append({
                "content": content,
                "center_x": center_x,
                "center_y": center_y,
                "polygon": polygon,
                "assigned": False,
            })

    # 各単語をセルに割り当て(中心座標がセル内にあるか判定)
    for word in words:
        cx, cy = word["center_x"], word["center_y"]
        for cell in cells:
            if (cell["x_min"] <= cx <= cell["x_max"]
                and cell["y_min"] <= cy <= cell["y_max"]):
                cell["words"].append(word)
                word["assigned"] = True
                break

    unassigned_words = [w for w in words if not w["assigned"]]
    return cells, unassigned_words

セル内の単語を結合

同じセルに割り当てられた単語を、座標順にソートして結合します。

def merge_words_in_cells(cells: list[dict]) -> list[dict]:
    """各セル内の単語を結合する"""
    for cell in cells:
        if not cell["words"]:
            continue
        # X座標、Y座標でソートして結合
        sorted_words = sorted(
            cell["words"], key=lambda w: (w["center_x"], w["center_y"])
        )
        cell["merged_text"] = "".join([w["content"] for w in sorted_words])
    return cells

Key-Value抽出

セル内のテキストが正しく結合されたら、次はラベル(キー)と値のペアを検出します。

この工程が本プロトタイプの核となる処理です。以下の3つの方法で値候補を収集します:

値候補の収集方法

  1. インライン候補: 同一line内の「キー: 値」形式(例:「利用者名 田中 太郎」)
  2. 頂点ベースマッチング: セルの頂点座標が一致する隣接セル(右隣・下)
  3. 距離ベースマッチング: 座標の近さで判定(罫線がない場合のフォールバック)
def collect_all_value_candidates(
    key_index: int,
    key_line: dict,
    positioned_lines: list[dict],
) -> list[dict]:
    """キーに対する全ての値候補を収集する"""
    candidates = []
    content = key_line["content"]
    key_polygon = key_line.get("polygon", [])

    # 1. インライン候補(同一line内)
    inline_value = extract_inline_value(content)
    if inline_value:
        candidates.append({
            "value": inline_value,
            "source": "inline",
            "distance": 0.0,
        })

    # 2. 頂点ベースマッチング(polygonが8点以上の場合)
    if len(key_polygon) >= 8:
        # keyの右上・右下の頂点を取得
        key_top_right = (key_polygon[2], key_polygon[3])
        key_bottom_right = (key_polygon[4], key_polygon[5])

        # 横並び候補(右隣のセル)を検出
        # 条件: valueの左上 ≈ keyの右上 かつ valueの左下 ≈ keyの右下
        for other in positioned_lines:
            other_polygon = other.get("polygon", [])
            if len(other_polygon) < 8:
                continue
            other_top_left = (other_polygon[0], other_polygon[1])
            other_bottom_left = (other_polygon[6], other_polygon[7])

            if (vertices_match(other_top_left, key_top_right) and
                vertices_match(other_bottom_left, key_bottom_right)):
                candidates.append({
                    "value": other["content"],
                    "source": "horizontal",
                    "distance": 0.0,
                })

    return candidates

スコアリング

複数の値候補が見つかった場合、どれが最適かを判断するためにGiNZA(日本語NLP)のNER(固有表現抽出)と正規表現パターンマッチを組み合わせてスコアリングします。

NERによるスコアリング

例えば「利用者名」というキーに対しては、値が「Person(人名)」としてNER認識されるかどうかでスコアを付けます。

# MetadataKeyごとに期待するNERラベル
EXPECTED_NER_LABELS = {
    "利用者名": ["Person"],
    "氏名": ["Person"],
    "ケアマネ": ["Person"],
    "住所": ["Location", "GPE", "Postal_Address"],
    "居宅名": ["Organization", "Company", "ORG", "Facility"],
}

def get_ner_labels(text: str) -> list[str]:
    """テキストからNERラベルを取得"""
    nlp = spacy.load("ja_ginza")
    doc = nlp(text)
    labels = [ent.label_ for ent in doc.ents]
    return labels

正規表現パターンによるスコアリング

日付や番号など、形式が決まっている値には正規表現パターンを使用します。

# MetadataKeyごとに期待する正規表現パターン
EXPECTED_PATTERNS = {
    "生年月日": [
        (r"(昭和|平成|令和|S|H|R)?\s*\d{1,2}\s*[年\.\/\-]\s*\d{1,2}\s*[月\.\/\-]\s*\d{1,2}\s*日?", 1.0),
    ],
    "要介護状態区分": [
        (r"要介護\s*[1-5]", 1.0),
        (r"要支援\s*[1-2]", 1.0),
    ],
    "保険者番号": [
        (r"^\d{6}$", 1.0),  # 6桁の数字
    ],
    "被保険者番号": [
        (r"^\d{10}$", 1.0),  # 10桁の数字
    ],
}

総合スコアの計算

NERスコアとパターンスコアの高い方を採用し、インライン候補にはボーナスを、距離が遠い候補にはペナルティを加えます。

def score_value(value: str, metadata_key: str) -> dict:
    """値候補をスコアリングする"""
    result = {
        "value": value,
        "total_score": 0.0,
        "ner_score": 0.0,
        "pattern_score": 0.0,
    }

    # NERスコアリング
    expected_labels = EXPECTED_NER_LABELS.get(metadata_key, [])
    if expected_labels:
        ner_labels = get_ner_labels(value)
        for label in ner_labels:
            if label in expected_labels:
                result["ner_score"] = 1.0
                break

    # パターンマッチスコアリング
    patterns = EXPECTED_PATTERNS.get(metadata_key, [])
    if patterns:
        result["pattern_score"] = check_pattern_match(value, patterns)

    # 総合スコア計算(高い方を採用)
    result["total_score"] = max(result["ner_score"], result["pattern_score"])
    return result

キーマッピング

OCRで抽出したラベル(例:「利用者名」「氏名」)を、あらかじめ定義したMetadataKey(「利用者名」「生年月日」など)にマッピングします。

完全一致だけでなく、あいまい一致も許容することで、OCRの誤認識や表記揺れに対応しています。

def normalize_and_map_key(key: str) -> str | None:
    """キーを正規化してRapidFuzzでMetadataKeyにマッピングする"""
    from rapidfuzz import fuzz

    normalized = key.replace(" ", "").replace(" ", "").strip("::  ")

    # 各MetadataKeyに対して複数の候補ラベルを定義
    metadata_key_labels = {
        "利用者名": ["利用者名", "本人氏名", "名前", "利用者", "氏名"],
        "生年月日": ["生年月日", "生年", "誕生日"],
        "住所": ["住所", "所在地", "居住地"],
        "認定の有効期間": ["認定の有効期間", "認定有効期間", "有効期間"],
        "要介護状態区分": ["要介護状態区分", "要介護", "介護度"],
        "ケアマネ": ["ケアマネ", "ケアマネジャー", "担当者", "介護支援専門員"],
        # ... 他のキーも同様に定義
    }

    best_score = 0.0
    best_match_key = None

    for metadata_key, label_candidates in metadata_key_labels.items():
        for label in label_candidates:
            score = fuzz.ratio(normalized, label)
            if score > best_score:
                best_score = score
                best_match_key = metadata_key

    # 閾値(70)以上のスコアの場合のみマッチとみなす
    if best_score >= 70:
        return best_match_key
    return None

日付の正規化・和暦変換

介護書類には、日付が様々なフォーマットで記載されています。 本プロトタイプでは、抽出した日付を統一フォーマット(YYYY/MM/DD)に自動変換します。

対応している日付フォーマット:

  • 和暦(元号)形式:「令和6年9月1日」「R6.9.1」「平成30年4月15日」「H30/4/15」
  • 西暦形式:「2024年9月1日」「2024/9/1」「2024.09.01」
  • スペース区切り:「R6年 9 月 1 日」「2024年 9月 1日」
def normalize_date(date_str: str) -> str:
    """日付文字列を YYYY/MM/DD 形式に正規化する"""
    # 和暦の元号を西暦に変換するマッピング
    era_to_year = {
        "令和": 2018, "R": 2018,  # 令和1年 = 2019年
        "平成": 1988, "H": 1988,  # 平成1年 = 1989年
        "昭和": 1925, "S": 1925,  # 昭和1年 = 1926年
    }

    # 和暦パターンの検出と変換
    era_pattern = r"(令和|平成|昭和|R|H|S)\s*(\d{1,2})\s*[年\.\/\-]\s*(\d{1,2})\s*[月\.\/\-]\s*(\d{1,2})"
    match = re.search(era_pattern, date_str)

    if match:
        era, year, month, day = match.groups()
        base_year = era_to_year.get(era, 0)
        western_year = base_year + int(year)
        return f"{western_year}/{int(month):02d}/{int(day):02d}"

    # 西暦パターンの検出と変換
    western_pattern = r"(\d{4})\s*[年\.\/\-]\s*(\d{1,2})\s*[月\.\/\-]\s*(\d{1,2})"
    match = re.search(western_pattern, date_str)

    if match:
        year, month, day = match.groups()
        return f"{year}/{int(month):02d}/{int(day):02d}"

    return date_str  # 変換できない場合は元の文字列を返す

これにより、「R6年 9 月 1 日」は「2024/09/01」に、「平成30年4月15日」は「2018/04/15」に自動変換されます。

また、値に含まれる敬称(「様」「さん」「氏」)やプレフィックス(「利用者名」「氏名」など)も自動的に除去されます。

出力結果

実際に本プロトタイプを使って、以下の居宅サービス計画書からKey-Valueペアを抽出してみます。

居宅サービス計画書のサンプル

上記の書類から抽出された結果は以下の通りです:

{
  "作成年月日": "2023/10/01",
  "利用者名": "田中 太郎",
  "生年月日": "1940/05/10",
  "住所": "東京都杉並区〇〇 1-2-3",
  "ケアマネ": "佐藤 花子",
  "居宅名": "ケアプランセンター杉並 東京都杉並区△△ 4-5-6",
  "認定の有効期間": "2023/09/01 ~ 2025/08/31",
  "認定日": "2023/09/01",
  "要介護状態区分": "要介護1"
}

書類内の以下の項目が正しく抽出できていることが確認できます:

抽出項目書類上の位置抽出結果
作成年月日右上「作成年月日 2023年 10月 1日」2023/10/01
利用者名「利用者名 田中 太郎 殿」田中 太郎
生年月日「生年月日 1940年 5月 10日」1940/05/10
住所「住所 東京都杉並区〇〇 1-2-3」東京都杉並区〇〇 1-2-3
ケアマネ「居宅サービス計画作成者氏名 佐藤 花子」佐藤 花子
居宅名「居宅介護支援事業者…」の右側ケアプランセンター杉並 東京都杉並区△△ 4-5-6
認定の有効期間「認定の有効期間 2023年 9月 1日 ~ 2025年 8月 31日」2023/09/01 ~ 2025/08/31
認定日「認定日 2023年 9月 1日」2023/09/01
要介護状態区分「要介護状態区分」行のチェック項目要介護1

このように、表形式の書類から必要な情報が自動的に抽出され、構造化されたJSONとして出力されます。日付は和暦から西暦に自動変換され、敬称(「殿」「様」など)も適切に除去されています。

今後の展望

現状のシステムには以下の課題があり、今後の改善を検討しています。

階層構造を持つセルへの対応

現在、例えば「氏名」というキーのセルがあった場合、書類内に複数の「氏名」が存在することがあります(利用者の氏名、ケアマネの氏名、緊急連絡先の氏名など)。

階層構造を持つセルの例

上の画像のように、介護書類では「利用者」の横に「氏名:田中 太郎」、「担当者」の横に「氏名:佐藤 花子」といった形で、同じ「氏名」というラベルが複数箇所に存在します。

現状では、どの「氏名」を拾ってくるかがランダムになってしまい、利用者名を取得したいのに担当者名が取得されてしまうケースがあります。

介護書類の多くでは、このように「氏名」セルの左側に「利用者」「担当者」などのコンテキストを示すセルが配置されています。しかし現在は2層以上のセルを参照する機能がないため、「利用者」→「氏名」→「田中 太郎」のような階層的なマッチングができません。

今後は、セルの階層構造(親セル・子セル関係)を解析し、コンテキストに基づいた適切なマッチングを実装することを検討しています。

OCR精度の安定化

現在、表の文字の大きさ、枠線の太さ、印刷の鮮明さなどによってOCR精度が大きく変わってしまいます。

特に以下のケースで精度が低下することがあります:

  • 細い罫線や点線の表
  • 手書き文字が混在する書類
  • スキャン品質が低い(かすれ、傾きなど)書類
  • 文字サイズが小さいセル

これらの課題に対しては、以下の改善を検討しています:

  • 画像の前処理(二値化閾値の自動調整、ノイズ除去)
  • 罫線検出パラメータの動的調整
  • 複数のOCRエンジンの併用と結果の統合
  • 信頼度スコアに基づく結果のフィルタリング