こんにちは、AI Labの神﨑睦人です。
私たちのチームでは、AI技術を活用してバックオフィスの業務を効率化する様々なプロジェクトに取り組んでいます。今回ご紹介するのは、PDF書類から手書きで記入された選択肢情報を自動で抽出するシステムの開発プロセスです。
このプロジェクトの目的は、PDF書類内の特定の選択肢情報において、どの選択肢が「丸で囲まれているか」を正確に判定することです。 文字認識(OCR)技術だけでは、「手書きの丸印」という非定型な情報を正確に扱うことが困難でした。本プロジェクトでは、OpenCVによる画像解析とOCR技術を組み合わせることで抽出精度を向上させた手順を詳しく解説します。
目次
今回のプロジェクトの概要
本プロジェクトは、PDF書類を入力とし、そこに含まれる特定の項目の欄から、どの区分に◯が付けられているかを自動判定してテキストデータとして出力するプログラムの開発を目的としています。
開発の背景と課題
介護保険関連の書類は、今でも紙やPDFベースでのやり取りが多く、その情報をシステムに手入力する作業は大きな負担となっています。特に選択肢情報は、単なる文字の読み取りではなく、「どの文字が囲まれているか」という図形的なコンテキストを理解する必要があります。
当初、LLM(大規模言語モデル)を用いた抽出を試みましたが、LLMだけでは「丸で囲まれている」という選択状態を正確に捉えることができず、単にラベルの隣にある最初の選択肢を抽出してしまうといった課題がありました。 そのため、画像処理ライブラリであるOpenCVを活用し、物理的な画像解析によって「丸印」を特定する別のアプローチが必要となりました。
開発環境
今回の開発では、画像処理とAIモデルの連携をスムーズに行うため、以下のリソースと技術スタックを使用しました。
- 言語: Python
- 画像処理ライブラリ: OpenCV (輪郭検出、ピクセル密度分析に使用)
- OCRサービス: Azure Document Intelligence Readモデル
OpenCVを使用し、外部サービスへの依存を最小限に抑えつつ、高精度の座標特定が必要な部分にはAzureのOCR結果を組み合わせるハイブリッドな構成を採用しました。
開発フロー
開発は複数のフェーズに分けて進めました。各フェーズで直面した課題と、それをどう解決したかを時系列で説明します。
フェーズ1:OpenCVによる輪郭検出
まずは、OpenCVの輪郭検出機能(findContours)を使用して、画像の中から手書きの「丸印」を抽出できるか検証しました。円の検出後は、その中心座標に近いテキストを、選択されているものとみなす流れになります。
直面した課題と対処
検証の結果、単純な円形検出だけでは以下のようなケースで失敗することが分かりました。
- 丸印が二重線で消されている場合
訂正のために丸の上から二重線を引くと、丸印の輪郭と二重線の輪郭が重なり、「丸」としての形状が崩れます。結果として円形度の計算値が大きく下がり、フィルタで除外されてしまいます。また逆に、二重線が丸印の外側を通っている場合は「丸印+二重線で囲まれた領域」が一つの大きな輪郭として検出され、誤検知の原因になります。
- 文字と丸印が重なっている場合
文字の上に丸印が書かれると、文字の輪郭と丸印の輪郭が結合し、一つの複合的な形状として検出されます。この状態では円形度やアスペクト比が崩れるため、「円らしい形状」として認識できなくなります。
これらに対し、面積・短軸と長軸の長さ・アスペクト比・円形度・頂点数の5段階のフィルタを組み合わせて「円らしい形状」を絞り込むロジックを構築しました。また、スキャンの解像度や書類サイズによって丸印のピクセルサイズが変わるため、画像の縦横平均サイズを基準にフィルタの閾値を動的にスケーリングする仕組みも導入しました。
さらに、厳しい条件で検出できなかった場合により緩い条件で再試行する「段階的検出(レベル1→2→3)」を実装することで、様々な手書きスタイルへの対応を試みました。しかし後のフェーズで述べるように、テーブル枠線との誤検知という根本的な問題は解消できず、最終的にピクセル密度手法へ移行することになります。
これに対し、円の面積や縦横比によるフィルタリングを試行錯誤し、まずは「円らしい形状」を候補として抽出するロジックを固めました。
フェーズ2:直接検出手法の限界とピクセル密度分析への転換
このフェーズでは、当初「円を直接検出する手法」と、のちに採用する「ピクセル密度を計算する手法」を並行して実装し、比較検証を行いました。
- 汎用的な「円の中心座標マッチング手法」の導入試行
はじめに、選択肢の内容やラベルに縛られない汎用的な実装を目指し、検出画像から直接「円(または楕円)」を検出し、その中心座標を最も近いテキストを選択されたものとみなす手法を実装しました。この方法であれば、選択肢の内容や付随するラベルを事前に把握しておく必要がなく、円さえ検出できれば選択状態を判定できます。
- テーブル構造による誤検知の発生
しかし、実際の書類データを複数種類用意して検証したところ、精度に問題が生じました。手書きの丸印が書類の「テーブル(表)の枠線」に近い位置に存在する場合、「丸印の外側とテーブルの枠線で囲まれた空白のエリア」を誤って一つの独立した円(輪郭)として認識してしまいました。
この円は、当時実装にあたって使用していたパラメータでは形状や面積が実際の丸印と近くなってしまうため、輪郭の形状だけでは排除が難しい状況でした。
- ピクセル密度計算の実装
そこで、今回のPDFのフォーマットに対して確実に選択肢抽出を行うため、直接的な円の検出と並行して実装していたピクセル密度計算の実装を行いました。
この手法は、あらかじめOCRで特定した各選択肢のテキスト周辺領域において、「色が濃いピクセル」がどれだけ存在するかを計算することで選択肢を特定するものです。この手法では、選択肢のテキスト位置が既知である必要がありますが、今回のような定型フォーマットにおいては、テーブル枠線を含むノイズによる誤検知の影響を受けにくく、高い精度で選択肢を抽出できることが確認できました。
フェーズ3:欠損補間と取り消し線への対応
手書きの書類では、OCRが文字を読み取れない「欠損」が発生することがあります。特に丸印が文字の上に重なると、文字が潰れてOCRが失敗しやすくなります。
線形回帰による位置推定
他の選択肢は読み取れているが、丸がついた特定の選択肢だけが読み取れないといった場合、前後の文字の位置からその選択肢がある座標を数学的に推定(補間)するアルゴリズムを実装しました。
取り消し線の判定
一度丸を付けた後に二重線で消されている場合、その領域は「丸印のインク」+「二重線のインク」でピクセル密度が極端に高くなります。この特性を利用し、選択されているものの候補が複数存在する場合はその候補内で最も密度が低い(=余計な線がない)ものを正解として選択するロジックを構築しました。
最終的なスクリプトや動作解説
最終的に構築した丸印検出アルゴリズムの動作フローを解説します。
- 前処理
入力画像をグレースケール化し、閾値(180)で二値化処理を行います。
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) _, binary = cv2.threshold(gray, 180, 255, cv2.THRESH_BINARY_INV)
THRESH_BINARY_INV を指定することで、元画像の黒いインク部分(丸印・文字)を白(255)、白い背景を黒(0)に反転します。これにより、以降の処理で「黒ピクセル数を数える」という直感的な操作が可能になります。
- キーワード検索とバウンディングボックスの統一
OCRの結果から特定の文字列を検索します。この際、各テキストのバウンディングボックス(枠)のサイズがバラバラだと密度計算に公平性が欠けるため、1つ目の検出分を基準に全ての枠サイズを統一する処理を入れました。
if ocr_items:
ref_bbox = ocr_items[0]["bbox"]
ref_width = ref_bbox["width"]
ref_height = ref_bbox["height"]
if orientation == "horizontal":
ref_y = ref_bbox["y"]
for item in ocr_items + interpolated_items:
bbox = item["bbox"]
cx = bbox["x"] + bbox["width"] // 2
item["bbox"] = {
"x": cx - ref_width // 2,
"y": ref_y,
"width": ref_width,
"height": ref_height,
}
else: # vertical
ref_x = ref_bbox["x"]
for item in ocr_items + interpolated_items:
bbox = item["bbox"]
cy = bbox["y"] + bbox["height"] // 2
item["bbox"] = {
"x": ref_x,
"y": cy - ref_height // 2,
"width": ref_width,
"height": ref_height,
}
OCRが返すバウンディングボックスは、文字の認識状況によってサイズが微妙に異なります。そこで最初に検出された項目のサイズを基準として、中心座標を保ちながら全項目の枠サイズを揃えます。
- 黒ピクセル密度の計算
各選択肢のテキストエリアを上下左右に25%ずつ拡張した「検索領域」を設定します。
expand_x = int(text_width * 0.25) # 左右に25%ずつ拡張 expand_y = int(text_height * 0.25) # 上下に25%ずつ拡張 x_start = max(0, bbox["x"] - expand_x) x_end = min(img_width, bbox["x"] + text_width + expand_x) y_start = max(0, bbox["y"] - expand_y) y_end = min(img_height, bbox["y"] + text_height + expand_y) region = binary_img[y_start:y_end, x_start:x_end] pixel_count = int(np.sum(region == 255)) area = region.size density = pixel_count / area if area > 0 else 0.0
テキストのバウンディングボックスをそのまま検索領域にすると、丸印がテキストからはみ出した場合に検出漏れが生じます。25%の拡張は、丸印の線がテキスト領域の外にかかる場合でも確実に捉えるためのマージンです。
密度の算出式
密度 = 検索領域内の黒ピクセル数 / 検索領域の総ピクセル数 丸印がついている箇所は、その線分の分だけ黒ピクセルが多くなり、密度が高くなります。
- 判定ロジック
第1段階: 全候補の「最大密度 – 最小密度」の差が0.04を超える場合、最も密度が高い候補を「選択」と判定します。
第2段階(フォールバック): 密度差が小さい場合、OCRで読み取れなかった「補間候補」を調べ、最も自然な密度を持つ箇所を特定します。
densities = [c["density"] for c in candidates]
density_range = max(densities) - min(densities)
if density_range > 0.04:
# 密度差が十分 → 最も密度が高い候補を選択
selected = self._determine_selected(candidates)
else:
# 密度差が0.04以下 → 丸による差ではないと判断
logger.info(
"[PIXEL_DETECTOR] Density range %.4f <= 0.04, "
"no circle detected among OCR candidates",
density_range,
)
# 補間バウンディングボックスを復活させて再試行
if interpolated_items:
for item in interpolated_items:
pixel_count, density, search_bbox = (
self._count_black_pixels_around_text(
binary, item["bbox"], img_width, img_height
)
)
item["pixel_count"] = pixel_count
item["density"] = density
item["search_bbox"] = search_bbox
item["selected"] = False
# 最も密度が低い候補を選択
# (取り消し線がある箇所は密度が高いため除外される)
selected = self._determine_selected(interpolated_items, highest=False)
used_interpolated = True
密度差の閾値0.04は実際の書類データを用いた検証から経験的に決定した値です。丸印がついている場合は候補間で0.05〜0.15程度の差が生じる一方、全ての選択肢に丸印がない場合は0.02以下に収まることが多く、この値で両者を安定して区別できました。
また第2段階で「最も密度が低い」候補を選ぶのは、取り消し線が引かれた箇所は「丸印のインク+取り消し線のインク」で密度が極端に高くなるためです。補間された座標は丸印以外の余計な線が存在しないはずなので、密度が最低の箇所が最も「余計な線がない自然な状態」と判断できます。
この多段構えのロジックにより、手書き特有の曖昧さを排除し、堅牢な抽出を実現しました。
以下は円の直接検出に使用していたスクリプトです。
輪郭フィルタリング
area = cv2.contourArea(contour)
if area < min_area or area > max_area:
continue
rect = cv2.minAreaRect(contour)
(rect_center_x, rect_center_y), (rect_width, rect_height), rotation_angle = rect
min_side = min(rect_width, rect_height)
max_side = max(rect_width, rect_height)
if min_side < min_short_side or max_side < min_long_side or max_side > max_long_side:
continue
aspect_ratio = max_side / min_side if min_side > 0 else 0
if aspect_ratio < min_aspect or aspect_ratio > max_aspect:
continue
perimeter = cv2.arcLength(contour, True)
circularity = 4 * np.pi * area / (perimeter * perimeter)
if circularity < min_circularity:
continue
epsilon = 0.02 * perimeter
approx = cv2.approxPolyDP(contour, epsilon, True)
vertices = len(approx)
if vertices == 4: # 四角形を除外
continue
if vertices > 30: # ノイズを除外
continue
中心座標計算(モーメントベース)
M = cv2.moments(contour)
if M["m00"] != 0:
moment_center_x = int(M["m10"] / M["m00"])
moment_center_y = int(M["m01"] / M["m00"])
# COORDINATE_METHOD に応じて bbox中心 / モーメント重心 / 平均 を切り替え
if COORDINATE_METHOD == "bbox":
final_center_x = bbox_center_x
elif COORDINATE_METHOD == "average":
final_center_x = (bbox_center_x + moment_center_x) // 2
else: # moment(デフォルト)
final_center_x = moment_center_x
今後の展望
今回のプロジェクトの結果として、特定のフォーマットにおける選択肢の自動抽出が高い精度で実現できました。今後の展望として、以下の実装を検討しています。
多種多様なフォーマットへの横展開:
自治体や事業所ごとに異なる書類フォーマットに対しても、今回の「補間と密度判定」のロジックを汎用化して適用していく予定です。文字マスク処理の高度化:
文字と丸印が完全に重なっている場合でも、OCRのテキスト座標を白でマスク(除去)し、残った手書きの線だけを純粋に抽出する手法の精度をさらに高めていきます。



