Latent Dirichlet Allocation

Vowpal Wabbit ライブラリを使用して VW LDA を実行します。

カテゴリ: Text Analytics

モジュールの概要

この記事では、Machine Learning Studio (クラシック) の "潜在ディリクレ等式割り当て" モジュールを使用して、他の未分類のテキストを複数のカテゴリにグループ化する方法について説明します。 LDA (ディリクレ等式 Allocation Allocation) は、類似したテキストを検索するために自然言語処理 (NLP) でよく使用されます。 もう 1 つの一般的な用語は "トピック モデリング" です。

このモジュールは、テキストの列を受け取り、次の出力を生成します。

• ソース テキストと、各カテゴリのスコア

• 各カテゴリの抽出された用語と係数を含む機能マトリックス

• 保存し、入力として使用される新しいテキストに再適用することができる変換

このモジュールは Vowpal Wabbit ライブラリを使用するため、非常に高速です。 Vowpal wabbit の詳細については、チュートリアルとアルゴリズムの説明が含まれているGitHub リポジトリを参照してください。

潜在ディリクレ等式の割り当てについての詳細 (LDA)

一般に、LDA は、se ごとに分類する方法ではありませんが、公開アプローチを使用します。 これは、既知のクラスラベルを指定してからパターンを推論する必要がないことを意味します。 代わりに、アルゴリズムによって、トピックのグループを識別するために使用される確率論的モデルが生成されます。 確率論的モデルを使用して、既存のトレーニングケースを分類したり、モデルに入力として指定した新しいケースを分類したりすることができます。

このようにすると、テキストとカテゴリ間のリレーションシップについての強い仮説を避け、数学的にモデル化されたトピックへの単語の分布のみを使用するため、このモデルを使用することをお勧めします。

• この理論については、PDF のダウンロードとして入手できます。 ディリクレ等式 Allocation: Blei、Ng、およびヨルダン

• このモジュールの実装は、 Vowpal Wabbit ライブラリ (バージョン 8) の LDA に基づいています。

詳しくは、「テクニカル ノート」セクションをご覧ください。

Latent Dirichlet Allocation を構成する方法

このモジュールには、未加工または前処理済みのテキスト列を含むデータセットが必要です。

1. 潜在ディリクレ等式 Allocationモジュールを実験に追加します。

2. モジュールの入力として、1 つまたは複数のテキスト列を含むデータセットを指定します。

3. [ 対象になる列] で、分析するテキストを含む1つまたは複数の列を選択します。

   複数の列を選択できますが、文字列データ型である必要があります。

   一般に、LDA はテキストから大きな特徴マトリックスを作成するため、通常は1つのテキスト列を分析します。

4. [ モデル化するトピックの数] に、入力テキストから派生するカテゴリまたはトピックの数を示す 1 ~ 1000 の整数を入力します。

   既定では、5 つのトピックが作成されます。

5. [N-grams]\(N-gram\) では、ハッシュ中に生成される N グラムの最大長を指定します。

   既定値は 2 で、バイグラムとユニグラムの両方が生成されることを意味します。

6. 出力値を確率に変換するには、[ ノーマライズ ] オプションを選択します。 したがって、変換された値を整数として表すのではなく、出力と特徴データセットの値は次のように変換されます。

   • データセット内の値は、P(topic|document) の確率として表されます。

   • 特徴トピック マトリックス内の値は、P(word|topic) の確率として表されます。

7. [オプション]、[ すべてのオプションを表示] の順に選択し、追加の高度なパラメーターを表示して設定する場合は [TRUE] に設定します。

   これらのパラメーターは、LDA の Vowpal Wabbit 実装に固有のものです。 Vowpal Wabbit online の LDA に関する優れたチュートリアルと、公式の Vowpal Wabbit Wikiがあります。

   このサンプルは、バージョン8の例と、Azure ML での VW の使用例を参照してください。

   • [Rho parameter]\(Rho パラメーター\) 。 トピック分布の低密度の事前確率を指定します。 VW の lda_rho パラメーターに対応します。 単語の分布がフラットであると予想される場合は、値1を使用します。つまり、すべての単語が想定される可能性があると見なされます。 ほとんどの単語が少ないとして表示される場合は、それをかなり小さい値に設定します。

   • [Alpha parameter]\(アルファ パラメーター\) 。 ドキュメントごとのトピックの重みの低密度の事前確率を指定します。 VW の lda_alpha パラメーターに対応します。

   • [Estimated number of documents]\(推定ドキュメント数\) 。 処理されるドキュメントの数 (行数) を表す数値を入力します。 これにより、モジュールは十分なサイズのハッシュテーブルを割り当てることができます。 Vowpal Wabbit のパラメーターに lda_D 対応します。

   • [Size of the batch]\(バッチのサイズ\) 。 Vowpal Wabbit に送信される各テキストのバッチに含める行数を入力します。 Vowpal Wabbit のパラメーターに batch_sz 対応します。

   • [Initial value of iteration used in learning update schedule]\(学習更新スケジュールで使用される反復の初期値\) 。 学習速度の開始値を指定します。 Vowpal Wabbit のパラメーターに initial_t 対応します。

   • [Power applied to the iteration during updates]\(更新中に反復に適用する指数\) 。 オンライン更新中のイテレーション数に適用される電力のレベルを示します。 Vowpal Wabbit のパラメーターに power_t 対応します。

   • [Number of passes over the data]\(データのパス数\) 。 アルゴリズムがデータを循環する回数を指定します。 Vowpal Wabbit のパラメーターに epoch_size 対応します。

8. テキストを分類する前に、最初のパスに n グラムのリストを作成する場合は、[LDA の前に ngrams のビルド辞書 または Ngrams のビルドディクショナリ] オプションを選択します。

   初期辞書を事前に作成した場合は、後でモデルを確認するときに辞書を使用できます。 数値インデックスではなくテキストに結果をマップできるようにすると、一般に解釈が容易になります。 ただし、ディクショナリの保存には長い時間がかかり、追加のストレージが使用されます。

9. Ngram ディクショナリの最大サイズについては、n グラム辞書に作成できる行の合計数を入力します。

   このオプションは、辞書のサイズを制御する場合に便利です。 ただし、入力の ngrams の数がこのサイズを超えると、競合が発生する可能性があります。

10. 実験を実行します。 LDA モジュールではベイズの定理を使用して、個々の単語に関連付けられている可能性のあるトピックが判別されます。 単語は、トピックやグループに排他的に関連付けられていません。代わりに、各 n グラムには、検出されたすべてのクラスに関連付けられている確率が学習されます。

結果

モジュールには次の 2 つの出力があります。

• 変換されたデータセット: 各カテゴリの各テキスト例のスコアと共に、入力テキストと、指定された数のカテゴリが含まれています。

• 機能トピックマトリックス: 左端の列には抽出されたテキスト機能が含まれており、そのカテゴリの特徴のスコアを含むカテゴリごとに列があります。

詳細については、「 LDA results の例」を参照してください。

LDA 変換

このモジュールは、 ITransform インターフェイスとして LDA をデータセットに適用する変換も出力します。

この変換を保存し、他のデータセットに再利用することができます。 これは、大規模なコーパスでトレーニングを行い、係数またはカテゴリを再利用する必要がある場合に役立ちます。

LDA のモデルまたは結果の改良

通常は、すべてのニーズを満たす単一の LDA モデルを作成することはできません。また、1つのタスク用に設計されたモデルでも、精度向上のために多くのイテレーションが必要になる場合があります。 モデルを改善するために、次のすべての方法を試してみることをお勧めします。

• モデルのパラメーターを変更する
• 視覚化を使用して結果を理解する
• 生成されたトピックが役に立つかどうかを確認するために、分野の専門家のフィードバックを取得します。

定性的メジャーは、結果の評価にも役立ちます。 トピックのモデリングの結果を評価するには、次の点を考慮します。

• 精度-類似する項目は実際には似ていますか。
• 多様性-モデルは、ビジネス上の問題に必要な場合に類似する項目を区別できますか。
• スケーラビリティ-幅広いテキストカテゴリまたは狭いターゲットドメインでのみ動作しますか。

LDA に基づくモデルの精度は、自然言語処理を使用して、テキストのクリーンアップ、要約、単純化、または分類を行うことによって改善されることがよくあります。 たとえば、Machine Learning でサポートされている次の手法では、分類の精度が向上します。

• ストップ ワードの削除

• 大文字と小文字の正規化

• レンマ化またはステミング

• 名前付きエンティティの認識

詳細については、「テキストと名前付きエンティティの認識の前処理」を参照してください。

Studio (クラシック) では、r または Python ライブラリを使用してテキスト処理を行うこともできます。 r スクリプトの実行、 python スクリプトの実行

例

テキスト分析の例については、 Azure AI Galleryの次の実験を参照してください。

• Python スクリプトの実行: python で自然言語の処理を使用してテキストをクリーンアップおよび変換します。

顧客レビューのテキストに基づく詳細と例については、「 LDA の結果について」を参照してください。

LDA の結果の例

次の例では、ディリクレ等式アロケーションモジュールがどのように動作するかを説明するために、既定の設定を使用して LDA を、Machine Learning Studio (クラシック) に用意されている Book Review データセットに適用します。

ソース データセット

データセットには、評価列と、ユーザーによって指定された完全なコメントテキストが含まれています。

代表的な例のほんの一部を次の表に示します。

処理中に、指定したパラメーターに基づいて、 ディリクレ等式 Allocation モジュールによってテキストがクリーンアップおよび分析されます。 たとえば、テキストを自動的にトークン化したり、句読点を削除したりすることができます。また、同時に各トピックのテキスト機能が検索されます。

LDA 変換されたデータセット

次の表は、書籍のレビューのサンプルに基づいて 変換 されたデータセットを示しています。 出力には、入力テキストと、指定された数のカテゴリが、各カテゴリのスコアと共に含まれています。

この例では、 モデル化するトピック数に対して既定値の5を使用しています。 そのため、LDA モジュールは5つのカテゴリを作成します。これは、元の5スケール評価システムにほぼ対応していると想定できます。

また、このモジュールはトピックを表す5つのカテゴリのそれぞれについて、各エントリにスコアを割り当てます。 スコアは、行が特定のカテゴリに割り当てられる確率を示します。

機能トピックマトリックス

モジュールの2番目の出力は、 機能トピックマトリックスです。 これは表形式のデータセットであり、 特徴付け text、、列の 特徴、および各カテゴリのスコアが含まれています。残りの列の トピック 1では、トピック 2...トピック Nスコアは係数を表します。

テクニカル ノート

このセクションには、実装の詳細、ヒント、よく寄せられる質問への回答が含まれています。

実装の詳細

既定では、変換されたデータセットと機能トピックマトリックスの出力の分布は確率として正規化されます。

• 変換されたデータセットは、あるドキュメントでのトピックの条件付き確率として正規化されます。 この場合、各行の合計は 1 になります。

• 特徴トピック マトリックスは、あるトピックでの単語の条件付き確率として正規化されます。 この場合、各列の合計は 1 になります。

LDA とトピック モデリング

ディリクレ等式 Allocation (LDA) は、 コンテンツベースのトピックモデリングによく使用されます。これは基本的に、未分類のテキストからの学習カテゴリを意味します。 コンテンツベースのトピック モデリングでは、トピックは単語に対する分布です。

たとえば、多くの製品を含む顧客レビューのコーパスを提供しているとします。 多くの顧客が長期間にわたって送信したレビューのテキストには、多くの用語が含まれていますが、その中には複数のトピックで使用されるものがあります。

LDA プロセスによって識別される トピック は、個々の製品 a のレビューを表している場合もあれば、製品レビューのグループを表している場合もあります。 LDA では、トピック自体は、一連の単語についての、時間の経過に伴う確率分布にすぎません。

用語は、1つの製品に限定されることはほとんどありませんが、他の製品を参照することも、すべてに適用される一般的な用語 ("すばらしい"、"非常に高い") にすることもできます。 その他の用語は、ノイズ ワードの可能性があります。 ただし、LDA メソッドでは、領域内のすべての単語をキャプチャするためのポートが用意されていないことを理解しておくことが重要です。また、併置の確率とは別に、単語がどのように関連しているかを理解することも重要です。 ターゲットドメインで使用されていた単語だけをグループ化できます。

用語のインデックスが計算された後、距離ベースの類似性メジャーを使用してテキストの個々の行が比較され、2つのテキストが相互に似ているかどうかが判断されます。 たとえば、製品には厳密に相関する複数の名前があることがわかることがあります。 または、非常に否定的な語句が特定の製品に関連付けられていることがわかる場合もあります。 類似性メジャーは、関連する用語の識別と、推奨事項の作成の両方に使用できます。

想定される入力

モジュールのパラメーター

出力

例外

Studio (クラシック) モジュールに固有のエラーの一覧については、「エラー コードMachine Learning参照してください。

API の例外の一覧については、「エラー コードMachine Learning REST API参照してください。

こちらもご覧ください

Text Analytics
特徴ハッシュ
名前付きエンティティの認識
Vowpal Wabbit 7-4 モデルのスコアリング
Vowpal Wabbit 7-4 モデルのトレーニング
Vowpal Wabbit 8 モデルのトレーニング