決定木で「解約しそうな取引先」を予測してみる【Python・scikit-learn】

はじめに
データ

はじめに

【Pythonによる時系列分析】で学んだ内容をダミーデータで再現してみた記事です。書籍のサンプルデータとは異なる特性を待たせています。

この記事では、営業訪問と受注の変化から「解約しそうな取引先」を決定木で予測します。データは乱数で作ったダミーで、実在のものではありません。

データ

600社分を用意し、次の変数を持たせました。「訪問が減った」または「受注が減り、かつ訪問が少ない」取引先が解約しやすいというルールを仕込んでいます。

visits / visits_diff: 月の営業訪問回数と前月差
order_qty / order_qty_diff: 受注額と前月差
churn: 解約したかどうか(解約率は約35%)

ステップ1: 制限なしの決定木は過学習する

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=123, stratify=y
)
full = DecisionTreeClassifier(random_state=123).fit(X_train, y_train)

学習データの正解率は1.000、テストデータは0.778でした(木の深さは14)。学習データで満点でも、新しいデータでは外れることがわかります。

ステップ2: GridSearchCVで最適な木を探す

params = {
    "max_depth": range(1, 8),
    "criterion": ["gini", "entropy", "log_loss"],
    "min_samples_leaf": [1, 3, 5, 10, 20],
    "min_samples_split": [2, 5, 10, 20],   # 2以上にする
}
gs = GridSearchCV(DecisionTreeClassifier(random_state=123),
                  params, cv=5, scoring="f1", n_jobs=-1)
gs.fit(X_train, y_train)

最適な組み合わせは、深さ3、min_samples_leaf=10 でした。Paramsの数が多いとめっちゃ時間がかかるのでまずはシンプルにやってみても良さそう。