スパムFAXを機械学習でブロックしてみた

この記事は「スパムFAXを画像解析＋言語解析＋機械学習でブロックしてみた」の全6回のシリーズ記事の第5回です。

はじめに

前回の記事では【第４回】機械学習前にデータ成形をしてみたを紹介しました。機械学習のお話です。

大まかな流れ

今回はtext分類ということで、計算コストも深層学習ほど高くなく、良い成果を出せるTf-idf+ロジスティック回帰で実装しています。ライブラリとしてscikit learnを使用しました。

Tf-idf

Tf-idfは、特定の文書にしか出てこない単語は重要度の高い単語である、という考え方のもと単語をベクトル化する手法です。この計算はscikit learnのsklearn.feature_extraction.text.TfidfVectorizerで実装されています。基本対応が英語なので前回の前処理では単語をスペースで結合しておきました。

from sklearn.feature_extraction.text import TfidfVectorizer
text = ["今日 は 良い 天気 だ","明日 も 良い 天気 だ","明後日 は 良く ない"]

vec = TfidfVectorizer().fit_transform(text).toarray() #疎行列から行列に変換
print(vec)
->
[[0.         0.68091856 0.51785612 0.         0.         0.51785612 0.        ]
 [0.         0.         0.51785612 0.         0.68091856 0.51785612 0.        ]
 [0.57735027 0.         0.         0.57735027 0.         0.         0.57735027]]

このようなベクトルに変換してくれます。今回、Faxのテキストでは約2000次元のベクトルになりました。

ロジスティック回帰

ロジスティック回帰は、回帰という名前がついているがクラス分類に使用される一般化線形モデルである。高次元の場合の線形クラス分類は強力であると言われていて、今回は２０００次元と高次元のため有効だと判断しました。(SVCだと精度低かった) これもTfidfVectorizerと同じようにscikit learnのsklearn.linear_model.LogisticRegrission実装されています。

Tfidf+ロジスティック回帰で訓練データ４０ずつ、テストデータ２０ずつで識別してみました。結果、推測精度は96%までいき、誤識別したのは一つだけでした。これはなかなかいい精度なのでは！？！？

グリッドサーチ

パラメータチュー二ングのためGridSearchCVを用いました。 GridSearchCVは渡されたパラメータをすべての組み合わせで試して、最良のパラメータを出す手法です。またscikit learnのGradSearchCVでは交差検証も同時に行います。交差検証とは、訓練データをさらに２０％ずつの５つに分け、１つを検証、その他を訓練データとして学習。次は違う１つを検証データとして学習する、これを全組み合わせで行うものです。これを行うことで訓練データをまんべんなく使うことができます。

本当にみてほしいところをみてるのか

よくわからんけどなんかできたではなんの意味もありません。
そのために解析を行いました!
今回はロジスティック回帰の重みパラメータから解析を行います。
scikit learnのロジスティック回帰には.coef_で重みパラメータを取得することができます。
重みパラメータを取得して、それをソートしたものと対応する単語を見ていきたいと思います。

最初にスパムに分類されやすい単語から！