文書からのデータ抽出：いまも失敗する場所

きれいなサンプルでの精度は宣伝用の数字

抽出のデモには、きれいにスキャンされ整形された文書が使われます。現実の受信箱には、斜めから撮った写真、コーヒーの輪染みつきのスキャン、先月レイアウトを黙って変えた取引先の書類が入っています。

成功ではなく、失敗に合わせて設計する

重要なのは、確信が持てないときにシステムが何をするかです。設計は二つ。

• 値だけを返し、何の信号も付けない。後段の誰かがそれを信じます。
• 値に確信度と、抽出元の領域への参照を添えて返す。人は確信度の低いものだけを確認します。

二つ目は作るのに手間がかかり、そして実文書に触れて生き残る唯一の設計です。

すでに知っていることと突き合わせる

価値の多くはモデルではなく、突合から生まれます。明細の合計は記載の合計と一致するか。税額はその国の税率と整合するか。この取引先は登録済みか。計算が合わない項目は、抽出の確信度がどうであれ誤りです。

原本に到達できるようにしておく

元文書と、抽出した各値の座標を必ず保存すること。数か月後にある数字が争点になったとき、正確なページの正確な領域を指し示せることが、議論を素早く終わらせます。