食品流通向けAI帳票管理プロトタイプの開発

こんにちは、AI Labの馬場 光希です。

食品流通の現場では、納品書やFAX発注書の内容を目視で確認する作業が多く残っています。今回は、既存のAI書類管理プログラムを食品流通向けに改修し、帳票の読み取りから確認までを支援するプロトタイプを開発しました。

本記事では、複数ページPDFへの対応、傾いた帳票の補正、OCR結果を確認する流れを紹介します。

▼ 課題

食品流通で扱う帳票には、手書きの追記、削除線、空白欄への記入が含まれる場合があります。帳票の形式や撮影時の傾きにもばらつきがあり、商品名や数量を安定して読み取ることが難しい状態でした。

また、文字を読み取れても、帳票の傾きやスタンプの影響で位置情報が乱れると、商品名と数量の対応や表の行・列を正しく復元できない場合があります。文字認識だけでなく、人が原本と照合しやすい形に整える必要がありました。

▼ 今回の目標

帳票から商品名や数量などを抽出し、要確認箇所とともに整理するプロトタイプの作成を目標としました。

AIが業務判断を代行するのではなく、利用者が元の帳票と読み取り結果を比較し、必要に応じて修正できる仕組みを目指しました。

▼ 結果

Azure AI Document IntelligenceによるOCRに加え、複数ページPDFの分割・結合処理と、OpenCVによる帳票の傾き補正を組み込みました。検証に使用した2件のPDFでは、傾きの補正とOCRを確認できました。

また、OCR結果のCSV出力までを確認しました。

目次

プロトタイプ

既存のAI書類管理プログラムをもとに、食品流通で扱う帳票に合わせて画面と処理を修正しました。

想定した流れは、帳票のアップロード、OCR、読み取り結果の表示、利用者による確認・修正です。OCRの結果だけで処理を確定せず、必ず元の帳票と照合できる構成にしました。

複数ページPDF

帳票のOCRには、Azure AI Document Intelligenceを使用しました。

検証環境では、一度に処理できるPDFが2ページまでだったため、pypdfを使ってPDFを2ページずつに分割し、それぞれをOCRへ送る処理を追加しました。

分割した結果では、ページ番号が分割単位で始まるため、そのままでは元のPDFと対応しません。そこで、各結果のページ番号にオフセットを加え、本文、ページ、段落情報を元の順番で結合しました。これにより、3ページ以上のPDFも同じ流れで処理できるようになりました。

傾き補正

斜めの帳票でも文字自体を読み取れる場合がありました。一方で、文字の位置情報が乱れ、表の行・列を正しく復元できない場合がありました。

この影響を抑えるため、OpenCVを使った回転補正を組み込みました。微細なずれには反応せず、補正が必要なページだけを回転するように調整しています。

次の画像は、傾き補正前の帳票プレビューです。帳票の内容はマスキングしています。

補正前は、帳票全体と表が斜めになっています。

次の画像は、同じ帳票を補正した後のプレビューです。

補正後は帳票が水平になり、表の行と列の位置関係を確認しやすくなりました。

OCR結果

OCRで抽出した情報は、CSVとして出力できるところまで確認しました。

プロトタイプでは、元の帳票とOCRで抽出した値を利用者が照合し、要確認となった項目を修正します。AIの出力を確定情報として扱わず、人による最終確認を前提としています。

帳票の取り込みからOCR結果の確認まで対応できました。

まとめ

食品流通で扱う帳票をAIで読み取り、人による確認と修正を支援するプロトタイプを開発しました。

複数ページPDFの処理と帳票の傾き補正を組み込み、OCR結果のCSV出力まで対応できました。

AIの出力だけで処理を確定せず、利用者が原本と照合して確認・修正できる構成にしました。

​

​