OpenCVとAzure Document Intelligenceで書類の印鑑・サインを自動検出してみた

こんにちは、AI Labの神﨑睦人です。

書類に「印鑑が押されているか」「サインが記入されているか」をプログラムで判定したいケースがあります。今回は、OpenCVとAzure Document Intelligenceを組み合わせ、書類画像から印鑑とサインを自動検出するシステムを実装しました。本記事では、技術的なアプローチの選択理由・実装時の試行錯誤・最終的な設計までを詳しく解説します。

このプロジェクトで最も意識したのは、「ルールベースでの検出処理」です。複数のパラメータ調整と多段フォールバック設計を採ることで、AIへの依存度を低下させつつ、幅広い種類の書類に対して高精度な検出を実現しました。

目次


開発環境

今回の開発では、以下のリソース・ライブラリを使用しました。

  • プログラミング言語: Python 3.12+
  • 画像処理
    • OpenCV (opencv-python-headless): 画像のフィルタリング・色空間変換・形状検出のメインツール
    • NumPy: 画像データを数値配列として高速に処理
  • OCR・ドキュメント解析
    • Azure Document Intelligence (azure-ai-documentintelligence): テキスト位置特定および手書き文字判別に使用
  • PDF変換
    • pdf2image: PDFを画像処理可能な形式に変換

環境構築

1. 依存ライブラリのインストール

依存ライブラリのインストールを requirements.txt を参照して行います。

pip install -r requirements.txt

2. Azure Document Intelligence の連携設定

サイン検出において、Azure Document Intelligence(以下 Azure DI)の手書き文字判別機能(styles)が鍵となります。Azure ポータルからリソースを作成し、エンドポイントとAPIキーを環境変数として設定しました。

Azure DI の Read Model は、OCR結果に加えて各テキストスパンが「手書き(handwriting)」か「コンピューター印字(print)」かを信頼度付きで返してくれます。この styles フィールドをサイン検出のコアとして活用しました。

3. モジュール構成

signing_detection/
├── service.py            # メインオーケストレーター
├── constants.py          # 調整可能なパラメータ群
├── stamp/
│   ├── detector.py       # 印鑑検出ファサード
│   ├── red.py            # Stage 1: 朱色インク検出
│   ├── circle.py         # Stage 2: OCRマーカーベース検出
│   ├── fullpage.py       # Stage 3: 全ページHough変換
│   ├── evaluator.py      # 印鑑候補スコアリング
│   └── preprocessor.py   # 画像前処理パイプライン
└── signature/
    ├── detector.py        # サイン検出ロジック
    ├── marker.py          # 署名ラベル検出
    ├── models.py          # サイン検出データモデル
    └── name.py            # 人名らしさ判定

CI/CDパイプラインを介してコードの変更が即座にテスト用PDF群に適用され、検出結果のログと自動生成されるデバッグ画像で動作を確認できる体制を整えました。


メイン処理のスクリプトと開発フロー

フェーズごとに発生した課題と、それぞれの課題に対して採ったアプローチを説明します。

フェーズ1:ルールベースによる印鑑検出の初期実装

まずは、OpenCVを用いた古典的な画像解析からスタートしました。書類をグレースケール化し、OCRで「印」や「㊞」という文字を検出して、その周囲に印鑑特有の「ピクセルの塊」があるかを判定するロジックを組みました。

課題と対処

検知範囲が広すぎることにより、文字の塗りつぶしや表の罫線が重なる部分を誤検知することがありました。そこで、印鑑のリング状輪郭と内部の密度差を評価する仕組みへ移行しました。候補円の外周25%領域をリングとして定義し、そのインク密度とリング内側の密度比(hollow_ratio)を計算することで、「中が詰まった塗りつぶし」と「輪郭線のみの印鑑」を区別できるようにしました。

フェーズ2:カラー情報を活用した精度向上

グレースケールのみでは、複雑な背景を持つ書類で限界がありました。そこで、「朱肉の赤色」を直接ターゲットにするアルゴリズムを追加しました。

実装の流れ

  1. 画像をBGRからHSV色空間に変換
  2. 赤・朱色の領域を2つのHSV範囲(H=0〜20 および H=155〜180、S/V=40〜)で抽出
  3. モルフォロジー演算(OPEN → CLOSE)でノイズを除去
  4. 連結成分ごとに面積(200px以上)をチェックし、最小外接円を当てはめ
  5. 赤マスク上でリング密度・内部密度・弧連続性を評価(Stage 2/3 と同じ構造を緩和した閾値で適用)
  6. ページ全体に占める赤色比率が極端に多い・少ない場合は除外するフィルタを追加

初期実装では単純な円形度(Circularity)で判定していましたが、かすれた朱肉や角印での誤判定が多かったため、Stage 2/3 と同様のリング密度+弧連続性評価に移行しました。閾値は赤インク特有の薄さ・断片性を考慮して緩和しています(例: arc_ratio ≥ 0.20、ink_coverage ≥ 0.25)。

フェーズ3:サイン(手書き文字)検出の挑戦

サインの検出は、印鑑よりも遥かに困難です。文字の形が人によって全く異なるため、単純な形状比較は通用しません。ここで活用したのが Azure DI の Read Model が返す styles フィールドです。

解決のプロセス

Azure DI の解析結果には、テキストスパンごとに isHandwritten フラグと信頼度スコアが含まれています。この情報を次のように活用しました。

  1. OCR結果から「署名」「記名」「サイン」というキーワード(ラベル)の位置を特定
  2. ページ全体の手書きスパンを一括取得し、name.py の人名らしさの判定ロジックでフィルタリング
  3. 各ラベルの ROI 内に人名が見つかれば、そのラベルを検出済みとしてマーク(ラベルごとに個別判定)

人名らしさの判定は、文字数(2〜8文字)・CJK/ひらがな/カタカナの割合(60%以上)・日付や地名に使われる文字の除外、といったルールベースのヒューリスティックで実装しました。

# name.py の判定ロジック(概要)
def looks_like_name(text: str) -> bool:
    # 文字数チェック: 2〜8文字
    # CJK/ひらがな/カタカナ/ASCII が60%以上
    # 年月日・都道府県・様・殿 などを含まない
    # 特殊文字(・:;)を含まない

フェーズ4:フォールバック処理の実装

OCRが「署名」ラベルを検出できなかったり、Azure DI が手書き文字として認識できなかった場合の対処が必要でした。そこで「画像ベースのROI(関心領域)解析」をフォールバックとして実装しました。

処理の流れ

  1. 「署名」ラベル周辺のROIをクロップ
  2. OCRで検出された印字テキスト領域をマスク(白く塗りつぶして除外)
  3. 横線・縦線をモルフォロジー演算で除去(罫線の影響を排除)
  4. 連結成分解析で残ったオブジェクトを抽出・グループ化
  5. アスペクト比・輪郭の粗さ・面積で「何かが書かれているか」を判定

また、画像が縦向きで認識に失敗した際は、回転処理を自動で呼び出すステップも追加しました。OCR座標は _transform_ocr_for_rotation() を通じてピクセル座標系と整合させています。


最終的なスクリプトと動作解説

完成したシステムは、印鑑を3段階のStageで、サインを多層的なロジックで検出します。

印鑑検出:3段階構成

Stage 1 (Red Ink)
  └─ HSVで朱色領域を抽出 → 最小外接円を当てはめ → リング密度・弧連続性で評価
     → 検出できればここで終了

Stage 2 (OCR Marker + Hough)
  └─ OCRで「印」「㊞」の位置を特定 → 周囲にROIを設定 → Hough円変換で候補検出
     └─ 密度評価 + 弧連続性評価でスコアリング → NMS(重複排除)
     └─ Houghで見つからない場合: 強度スキャンにフォールバック

Stage 3 (Full-Page Hough)
  └─ ページ全体を対象にHough変換(小画像の場合はパラメータを変えて追加パス)
     └─ 密度評価 + 弧連続性評価 + テキスト領域除外でスコアリング → NMS(重複排除)
     └─ Houghで見つからない場合: 強度スキャンにフォールバック

Stage 1:朱色インク検出

HSVマスクで赤色領域を抽出し、各連結成分に最小外接円を当てはめて円形評価を行います。Stage 2/3 と同じリング密度+弧連続性の構造を、赤インクの特性に合わせて緩和した閾値で適用しています。

# red.py
def detect_red_stamp(img: np.ndarray) -> tuple[float, list[RedCandidate]]:
    hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
    total_pixels = img.shape[0] * img.shape[1]

    # 赤色は色相環をまたぐため 2 範囲で抽出
    red_mask = np.zeros(img.shape[:2], dtype=np.uint8)
    for lower, upper in StampRedParams.RED_HSV_RANGES:
        red_mask |= cv2.inRange(hsv, lower, upper)
    # RED_HSV_RANGES:
    #   ([0, 40, 40], [20, 255, 255])    # 朱色(低域)
    #   ([155, 40, 40], [180, 255, 255])  # 赤(高域)

    kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))
    red_mask = cv2.morphologyEx(red_mask, cv2.MORPH_OPEN, kernel, iterations=1)
    red_mask = cv2.morphologyEx(red_mask, cv2.MORPH_CLOSE, kernel, iterations=2)

    red_ratio = int(np.count_nonzero(red_mask)) / total_pixels

    # 赤色比率が極端に多い・少ない場合は対象外(0.05% 〜 20%)
    if red_ratio < 0.0005 or red_ratio > 0.20:
        return red_ratio, []

    # 連結成分ごとに最小外接円を当てはめて円形評価
    num_labels, labels, stats, _ = cv2.connectedComponentsWithStats(red_mask, connectivity=8)
    h, w = red_mask.shape
    candidates = []
    for label_idx in range(1, num_labels):
        pixels = int(stats[label_idx, cv2.CC_STAT_AREA])
        if pixels < 200:  # RED_MIN_COMPONENT_PIXELS
            continue
        contour = ...  # 最大輪郭を取得

        # 最小外接円を当てはめ
        (fc_x, fc_y), fc_r = cv2.minEnclosingCircle(contour)
        cx, cy, r = int(fc_x), int(fc_y), int(fc_r)

        # リング密度・内部密度を赤マスク上で評価
        inner_r = max(1, int(r * (1.0 - 0.25)))  # 外周 25% をリング帯とする
        ring_density = ...  # リング帯内の赤ピクセル密度
        inner_density = ...  # 内側の赤ピクセル密度

        # 弧連続性を赤マスク上で評価
        ink_coverage, arc_ratio, segments = compute_arc(red_mask, h, w, cx, cy, r)

        # Stage 2/3 と同じ構造で緩和した閾値を適用
        density_ok = (0.05 <= ring_density <= 0.95 and inner_density <= 0.90)
        arc_ok = (ink_coverage >= 0.25 and arc_ratio >= 0.20 and segments <= 8)

        candidates.append(RedCandidate(
            pixels=pixels, is_stamp=density_ok and arc_ok,
            cx=cx, cy=cy, r=r,
            ring_density=ring_density, inner_density=inner_density,
            ink_coverage=ink_coverage, arc_ratio=arc_ratio, segments=segments,
        ))
    return red_ratio, candidates

Stage 2, 3:円形評価とスコアリング

各ステージで見つかった候補は evaluate_circle() でスコアリングします。

スコア計算式

score = ink_coverage × arc_ratio × (1 + inner_density)
指標定義閾値適用ステージ
ring_density外周25%リング領域のインク密度0.10 〜 0.95Stage 1, 2, 3
inner_densityリング内側のインク密度0.05 〜 0.80Stage 2, 3
ink_coverage円周上のインク被覆率0.50 以上Stage 2, 3
arc_ratio最長連続弧の比率0.40 以上Stage 2, 3
segments弧の分断数4 以下Stage 2, 3
hollow_ratioリング密度 / 内部密度1.4 以上Stage 3 のみ(テキストブロック誤検出抑制)
ring_circularityリング帯の角度セクター分布62.5% 以上のセクターにインクStage 2, 3

Stage 1(赤色検出)は赤マスク上で独自に評価を行い、かすれた朱肉に対応するため閾値を緩和しています(ring_density ≥ 0.05、arc_ratio ≥ 0.20、segments ≤ 8 等)。 Stage 2, 3 では NMS(重複排除)を適用し、隣接する印鑑に重なる誤検出を排除します。

# evaluator.py(抜粋)
def evaluate_circle(preprocessed, cx, cy, r, source, ...) -> StampCandidate:
    # --- 密度評価 ---
    inner_r_ring = max(1, int(r * (1.0 - 0.25)))  # 外周 25% をリングとして定義

    ring_mask = np.zeros((h, w), dtype=np.uint8)
    cv2.circle(ring_mask, (cx, cy), r, 255, -1)
    cv2.circle(ring_mask, (cx, cy), inner_r_ring, 0, -1)   # 中を抜く

    inner_mask = np.zeros((h, w), dtype=np.uint8)
    cv2.circle(inner_mask, (cx, cy), inner_r_ring, 255, -1)

    ring_density = np.count_nonzero(cv2.bitwise_and(src, ring_mask)) / ring_area
    inner_density = np.count_nonzero(cv2.bitwise_and(src, inner_mask)) / inner_area

    # hollow_ratio: リングの方が内側より密な場合のみ通過(Stage 3 専用)
    hollow_ok = ring_density >= inner_density * hollow_ratio_min

    # リング円形度: リング帯を 8 セクターに分割し、全周にインクが分布しているか検証
    # 印鑑は全セクターにインクが存在するが、テキスト行は特定方向に偏る
    ring_circularity_ok = active_sectors / 8 >= 0.625  # 5/8 以上

    density_ok = (
        0.10 <= ring_density <= 0.95
        and 0.05 <= inner_density <= 0.80
        and hollow_ok
        and ring_circularity_ok
    )

    # --- 弧連続性評価 ---
    ink_coverage, arc_ratio, segments = compute_arc(arc_src, h, w, cx, cy, r)
    arc_ok = ink_coverage >= 0.50 and arc_ratio >= 0.40 and segments <= 4

    score = ink_coverage * arc_ratio * (1.0 + inner_density)
    is_stamp = density_ok and arc_ok  # Stage 2, 3 ともに弧評価を適用
    return StampCandidate(...)


def compute_arc(arc_src, h, w, cx, cy, r):
    # 円周上に 72 点サンプリング(±5px 幅)
    angles = np.linspace(0, 2 * np.pi, 72, endpoint=False)
    dr_range = np.arange(-5, 6)

    px_mat = np.clip((cx + np.outer(np.cos(angles), r + dr_range)).astype(int), 0, w - 1)
    py_mat = np.clip((cy + np.outer(np.sin(angles), r + dr_range)).astype(int), 0, h - 1)
    hits = arc_src[py_mat, px_mat].max(axis=1) > 0

    ink_coverage = float(np.sum(hits)) / 72

    # 最長連続弧の長さを計算(循環配列として扱う)
    hits_int = hits.astype(np.int8)
    hits_doubled = np.concatenate([hits_int, hits_int])
    diff = np.diff(hits_doubled, prepend=0, append=0)
    starts = np.where(diff == 1)[0]
    ends = np.where(diff == -1)[0]
    min_len = min(len(starts), len(ends))
    if min_len > 0:
        run_lengths = np.minimum(ends[:min_len] - starts[:min_len], 72)
        max_run = int(np.max(run_lengths))
    else:
        max_run = 0
    arc_ratio = max_run / 72

    segments = int(np.sum(np.abs(np.diff(hits.astype(np.int8), append=int(hits[0]))))) // 2
    return ink_coverage, arc_ratio, segments

サイン検出:多層フォールバック

1. Styles-Based (Azure DI)
   ├─ 「署名」「記名」「サイン」ラベルをOCRで特定
   ├─ ページ全体の手書きスパンを一括取得(extract_handwritten_texts)
   ├─ 各ラベルの ROI 内で人名らしいテキストを確認(looks_like_name())
   └─ 見つかったラベルを検出済みとしてマーク(ラベルごとに個別判定)

2. Image-Based ROI(Stylesで見つからなかった場合)
   ├─ ラベル周辺ROIを取得
   ├─ 印字テキストをマスク・罫線を除去
   ├─ 連結成分解析 → グループ化
   └─ アスペクト比・粗さ・面積で「記入あり」を判定

Styles-Based 検出

Azure DI の styles フィールドを使って手書きスパンを抽出し、人名らしいテキストを探します。

# signature/detector.py(抜粋)
def _extract_handwritten_positions(content, styles, ocr_lines, ...):
    hw_spans = []
    for style in styles:
        if not style.get("isHandwritten", False):
            continue
        for span in style.get("spans", []):
            offset = span.get("offset", 0)
            length = span.get("length", 0)
            if length > 0 and offset + length <= len(content):
                text = content[offset: offset + length].strip()
                if text and (not name_only or looks_like_name(text)):
                    hw_spans.append((text, offset, offset + length))

    # スパンオフセットを OCR ラインの polygon と照合してピクセル座標に変換
    for idx, line in enumerate(ocr_lines):
        polygon = line.get("polygon", [])  # [x0,y0, x1,y1, x2,y2, x3,y3]
        for line_span in line.get("spans", []):
            ls, le = line_span["offset"], line_span["offset"] + line_span["length"]
            for text, hs, he in hw_spans:
                if hs < le and he > ls:
                    xs = [polygon[i] * scale_x for i in range(0, len(polygon), 2)]
                    ys = [polygon[i] * scale_y for i in range(1, len(polygon), 2)]
                    result.append((text, int(min(xs)), int(min(ys)), int(max(xs)), int(max(ys))))

人名らしさの判定

# signature/name.py
def looks_like_name(text: str) -> bool:
    cleaned = text.replace(" ", "").replace("\u3000", "").strip()

    # 文字数チェック: 2〜8文字
    if not (2 <= len(cleaned) <= 8):
        return False
    # 日付・記号・地名に使われる文字を除外
    if any(c in "年月日時分秒〒℃①②③④⑤⑥⑦⑧⑨⑩・::;;、。" for c in cleaned):
        return False
    if any(sub in cleaned for sub in ("都", "道", "府", "県", "市", "区", "町", "村",
                                      "丁目", "番地", "番号", "電話", "TEL", "TEL",
                                      "様", "殿")):
        return False

    # 漢字・ひらがな・カタカナ・アルファベットが 60% 以上
    n_name_chars = sum(
        1 for c in cleaned
        if 0x4E00 <= ord(c) <= 0x9FFF   # CJK統合漢字
        or 0x3400 <= ord(c) <= 0x4DBF   # CJK拡張A
        or 0x3040 <= ord(c) <= 0x30FF   # ひらがな・カタカナ
        or c.isalpha()                   # ASCII英字
    )
    return n_name_chars / len(cleaned) >= 0.6

デバッグ出力

検出結果を視覚的に確認できるよう、以下のデバッグ画像を自動生成する機能も実装しました。

  • page.jpg: 検出された印鑑・サインをバウンディングボックスで注釈したページ全体
  • stamps.jpg: 検出された印鑑を10列グリッドでタイル表示
  • signs.jpg: 検出されたサインを3列グリッドでタイル表示

今後の展望

今回の実装で、印鑑・サイン自動検出の基盤を構築できましたが、まだ改善の余地があります。

  • 書類種別との組み合わせ: 現在は印鑑・サインの有無に特化していますが、今後は書類の種別を自動判別し、「この位置に印鑑が必要」というルールと組み合わせることで、より高度なバリデーションを実現したいと考えています。

  • YOLOなどの物体検出への移行: ルールベースの実装を通じて蓄積した正解・不正解データは、そのままアノテーション(教師データ)として活用できます。今後はYOLOv8などのディープラーニングモデルによる掠れた印鑑や複雑なレイアウトへの対応も検討します。

​

​