テキストの正規化
- 空白文字 (改行文字やタブ文字を含む) および区切り記号は、通常のスペースに置き換えられます。
- 区切りとして使用されるピリオド (単語間に置かれるピリオド) はスペースに置き換えられ、略語内のピリオドは削除されます。
- 接続記号 (
&,+,-,/,~) は正規化されます。- 1 文字の単語で始まり、同じ接続記号で区切られた一連の単語は、1 つの単語に結合されます。たとえば、
R & DはR&Dになります。 - それ以外の場合、接続記号はスペースに置き換えられます。たとえば、
Procter&GambleはProcter Gambleになります。
- 1 文字の単語で始まり、同じ接続記号で区切られた一連の単語は、1 つの単語に結合されます。たとえば、
- 連続するスペースは削除されます。
- 事前定義リストを使用して単語を分割します。たとえば、
CoKGはCo KGに分割されます。 - 認識されたテキスト内のスペースを使って、個々の単語に分割します。
- 事前定義リストを使用して、各単語の接尾辞を置き換えます。たとえば、接尾辞
strasseを接尾辞strに置き換えることができます。 - 単語列は、事前定義リストに従って自動的に置き換えられます。たとえば、単語
Limitedを略語Ltdに置き換えることができます。
Normalization.xml ファイルで指定します。このファイルはプロジェクトのフォルダーに保存されています。
今後のバージョンのプログラムでは、正規化アルゴリズムに大きな変更が加えられる可能性があります。
正規化設定の変更
Normalization.xml ファイルは、データセットの作成後でも変更できます (データセットごとに個別に設定します) 。標準の正規化設定を変更するには:
1
設定ファイルをダウンロード
DownloadNormalizationSettings FCAdminTools コマンドを使用して設定ファイルをダウンロードします。
2
設定を編集
必要な変更を加えます。
3
設定ファイルをアップロード
UpdateNormalizationSettings FCAdminTools コマンドを使用して設定ファイルをアップロードします。
英数字コードの正規化
- このオプションを有効にすると、正規化された値がデータセットに保存されます。
- このオプションを無効にすると、外部データベースの元の値がデータセットにコピーされます。
