NLP を使用した非構造化文書の処理

ABBYY FlexiCapture の NLP モデルを使用して、契約書や書簡などの非構造化文書からデータを抽出します。必要に応じてセグメンテーションを使用することで、解析を高速化できます。

自然言語処理 (NLP) は、自然言語をコンピューターで解析および生成する技術を扱う、人工知能と言語計算言語学の一分野です。実用的な用途の 1 つは、テキストから意味のあるデータを抽出することです。

文書の処理方法は、その構造によって異なります。文書には次の 3 種類があります。

文書タイプ	説明
構造化	設計、数、配置が文書ごとに変わらない、明確に定義されたデータ field のセットです。例: フォーム、質問票、申請書。
半構造化	設計、数、配置が文書間で大きく異なる可能性があるデータ field のセットです (「柔軟な文書」とも呼ばれます)。例: 請求書。明細の数や書式は発行会社によって異なることがよくあります。
非構造化	まったく構造化されておらず、明示的なデータ field もない情報です。例: 契約書、書簡、注文書。

詳細については、Types of documents processed using ABBYY FlexiCaptureを参照してください。

非構造化文書の処理には NLP を使用します。たとえば、NLP を使用すると、契約書から参照番号、当事者名、重要な日付 (署名日、発効日、契約期間、終了日)、契約金額、手数料、支払条件を抽出できます。

テーブル、構造化文書、半構造化文書からデータを抽出するには、FlexiLayoutsなどの別の方法を使用します。

​

NLPによる情報抽出の仕組み

ABBYY製品では、NLPモデルを使用して非構造化テキストから情報を抽出します。NLPモデルでは、抽出するエンティティを定義します。サンプル文書を使用してNLPモデルを学習すると、対象分野と抽出アルゴリズムが決まり、より効率的に情報を抽出できるようになります。NLPモデルの作成に必要な作業量は、文書の多様性、利用可能なコンテキスト、抽出する情報の複雑さと量によって異なります。

非構造化テキストからデータを抽出するには大きな計算能力が必要であり、テキストが長いほど分析に時間がかかります。ただし、多くの場合、必要な情報は特定のページや段落にあります。こうした有用な部分を見つけることをセグメンテーションと呼びます。セグメンテーションはエンティティ抽出よりもはるかに短時間で済み、必要なリソースも少ないため、文書から情報を抽出する前にセグメント化することをお勧めします。詳細については、「セグメンテーションモデルの作成」を参照してください。

​

NLP を使用して非構造化文書を処理する

1. NLP モジュールをインストールします。
2. Document Definition を作成します。
3. NLP モデルを作成し、学習させるか、既存の NLP モデルを Document Definition にロードします。