ECLATアルゴリズムによる高速アソシエーションルール生成 | アソシエーション分析 | Pythonによる機械学習を学ぶ

スポンサーリンク
スポンサーリンク

ECLATアルゴリズムによる高速アソシエーションルール生成

ECLAT（Equivalence Class Clustering and bottom-up Lattice Traversal）は、Aprioriアルゴリズムに似たアソシエーションルールを生成するためのアルゴリズムですが、アイテムセットの垂直データ形式を使用することで効率的にルールを生成します。この記事では、ECLATアルゴリズムの基本的な考え方と、Pythonを使った実装方法について解説します。

ECLATアルゴリズムの基本概念

ECLATは、各アイテムセットが登場するトランザクションIDのリストを用いて、アイテムセット間の共通トランザクションを基にルールを生成します。従来のAprioriアルゴリズムが水平データ形式を使用するのに対し、ECLATは垂直データ形式を使用し、効率的な探索を可能にしています。

ECLATアルゴリズムのステップ

  1. データの垂直変換: 各アイテムセットが登場するトランザクションIDを保持します。
  2. アイテムセットの組み合わせ: 2つのアイテムセットが共通して登場するトランザクションIDを結合して、新しいアイテムセットを作成します。
  3. サポートの計算: 各アイテムセットのサポートを計算し、必要に応じて頻出アイテムセットを絞り込みます。

PythonによるECLATアルゴリズムの実装

以下では、Pythonを使用してECLATアルゴリズムを実装し、アソシエーションルールを生成します。

import pandas as pd
from collections import defaultdict

# トランザクションデータの作成
data = {'トランザクションID': [1, 2, 3, 4, 5],
        'ミルク': [1, 0, 1, 1, 0],
        'パン': [1, 1, 0, 1, 1],
        'バター': [0, 1, 1, 0, 1],
        '卵': [1, 1, 0, 0, 1]}

df = pd.DataFrame(data)

# 各アイテムセットのトランザクションIDのリストを作成
vertical_format = defaultdict(list)
for item in df.columns[1:]:
    vertical_format[item] = list(df[df[item] == 1]['トランザクションID'])

# アイテムセットのペアのサポートを計算
def calculate_support(itemset1, itemset2):
    return set(vertical_format[itemset1]) & set(vertical_format[itemset2])

# ミルクとパンの共通トランザクションIDを計算
support_milk_bread = calculate_support('ミルク', 'パン')
print("ミルクとパンの共通トランザクションID:", support_milk_bread)

コードの解説

  • vertical_format: 各アイテムセットが登場するトランザクションIDを保持するデータ構造を作成します。
  • calculate_support: 2つのアイテムセットが共通して登場するトランザクションIDを計算する関数です。
  • 例えば、「ミルク」と「パン」の共通トランザクションIDを取得し、そのサポートを確認できます。

実際のアプリケーションとECLATの利点

ECLATアルゴリズムは、特に高次元データに対して有効です。従来のAprioriアルゴリズムではアイテムセットの探索が水平に進むため、データが大規模になると時間がかかることがありますが、ECLATでは垂直形式を利用することで探索を効率化できます。

ECLATの応用例

ECLATは、特に以下のような場面で有効です。

  • マーケットバスケット分析: 顧客の購買パターンを分析し、製品の陳列やクロスセルの最適化に役立ちます。
  • 異常検知: 通常のトランザクションとは異なるパターンを見つけ、セキュリティ強化に利用できます。
  • バイオインフォマティクス: 遺伝子やDNAの相関を調べる際に使用されることもあります。

評価と結果の解釈

関連ルールの評価指標は、ECLATでも他のアソシエーションアルゴリズムと同様に使用されます。サポート、信頼度、リフトを活用して有効なルールを評価します。具体的には、以下のようなポイントに注意してルールを選定します。

  1. サポート: データ内で頻繁に登場するルールを優先します。
  2. 信頼度: 高信頼度のルールは、予測においても有効である可能性が高いです。
  3. リフト: リフトが1を超えるルールは、関連性が高いとされます。

まとめ

ECLATアルゴリズムは、水平データ形式を用いるAprioriアルゴリズムと比較して、垂直データ形式を使用することで効率的にルールを生成します。特に、トランザクションが多い場合や、アイテムセットの数が多い場合においてECLATは非常に有効です。Pythonでの実装も比較的簡単であり、関連ルールの生成と評価に広く応用できます。

スポンサーリンク