不動産書類をOCRで比較して差分をハイライト表示した話

こんにちは、AI Labの馬場 光希です。

不動産業務では、見積書や契約書類の確認が人の目視に大きく依存しています。今回は、概算見積書と確定見積書を対象に、項目や金額の差分を原本PDF上で確認できるOCRハイライト機能を実装しました。

▼ 課題

  • 見積書や契約書類の目視確認への依存
  • 概算見積書と確定見積書で、項目の変更・追加・削除や金額の変更を探す負担
  • 差分確認後に、原本上の記載箇所を探し直す手間

▼ 今回の目標

見積書の差分と原本上の該当箇所を、一つの画面で確認できることを目標としました。

▼ 結果

差分を変更・追加・削除に分類し、対応する箇所を比較元と比較先のPDF上に色分けして表示できるようになりました。

目次

OCRの利用

不動産書類は帳票ごとに形式や項目の配置が異なるため、OCRで読み取った内容から比較対象を判別する必要があります。

概算見積書と確定見積書を機械的に比較するには、PDFの内容を文字列として扱う必要があります。そのため、Azure Document IntelligenceでOCRを行い、文字列と位置情報を取得します。

OCRで得た文字列から、さくらのAIで比較に必要な情報を抽出・整理します。文字列はSequenceMatcherによる差分判定に使い、位置情報は差分に対応する原本上の箇所を表示するために使います。

処理の流れ

  1. Azure Document IntelligenceによるOCR
  2. さくらのAIによる情報整理
  3. SequenceMatcherによる差分判定
  4. 変更、追加、削除への分類
  5. PDF上へのハイライト表示

差分の判定

さくらのAIで整理した比較元と比較先の文字列を、PythonのSequenceMatcherで比較します。差分はAIが判断するのではなく、文字列の一致部分をもとに機械的に判定します。

判定結果は変更、追加、削除に分類します。同じ項目の内容が異なる場合は変更、比較先にだけある場合は追加、比較元にだけある場合は削除として扱います。

分類した結果は、OCRで取得した位置情報とあわせてフロントエンドへ渡します。差分の種類と原本上の位置を対応させることで、判定結果をPDF上に表示します。

ハイライト表示

比較元のPDFを左側、比較先のPDFを右側に表示します。変更前の箇所を赤色、変更後の箇所を青色で示します。

中央の差分一覧で変更内容を確認し、左右のPDFで変更前後の記載を見比べる構成です。差分一覧から項目を選ぶと、対応するページと位置を表示します。

差分一覧だけでも変更内容は分かりますが、それだけでは原本の該当箇所を探す作業が残ります。 ハイライトを組み合わせることで、変更内容と、その判定に使われた原本の記載を一続きで確認できます。

まとめ

OCRで取得した文字列と位置情報を、見積書の差分判定と原本確認に活用しました。

​

​