天色グラフィティ

技術ちっくなことを書きます

Kaggle Eloコンペの振り返り・上位解法まとめ

f:id:ejinote:20190302203900p:plain

KaggleのElo Merchant Category Recommendationコンペに参加しました。

僕は@kasuminkoさん、@hirokasさんとチームを組んで、ラスト2週間だけ参加しました。結果から書くと、Public 221位からのPrivate 2220位という乱高下で儚く散りました。

手元に銀メダル相当のスコアを持っていたにもかかわらず、間違ったサブミットを選んでしまっており、とても悔しいです。

コンペの概要

Eloというブラジルのカード会社が主催となり、各ユーザーの購買行動に対応したRoyalty Scoreという値を予測するコンペです。

データとしては各カードの属性を書いたtrain.csv/test.csvと、それぞれのカードに紐付いた購買履歴(transaction)を表すhistorical_transactions.csv/new_merchant_transactions.csvの4ファイルが与えられていました。

タスクの種類は値を当てる回帰で、targetの分布は0を中心とした分布に加え、-33付近に外れ値が存在するというものでした。

f:id:ejinote:20190302203644p:plain

評価指標はRMSEで、外れ値の影響を受けやすい指標です。特に今回は-33.22付近とかなり外れた位置にサンプルが存在するため、外れ値をどう捌くかが大きな論点のひとつでした。

上位解法

1st place solution (30CrMnSiA)

Discussion: https://www.kaggle.com/c/elo-merchant-category-recommendation/discussion/82036

解法のコアはシンプルで、外れ値を予測する2値分類モデルを使って、外れ値(-33.22)と外れ値抜きで学習した予測値を加重平均するというものです。

Kernelにも分類モデルで外れ値の確率を出すという手法が投稿されていました。 しかし、そのアプローチは「外れ値の確率が低いものについては、外れ値抜きで学習させたモデルでの予測値と差し替える」というものでした。 1位解法はKernelの手法をよりシンプルにしたバージョンと言えるでしょう。

この手法の肝は、外れ値予測モデルが十分精度が高いことです。 僕が持っていた外れ値予測モデルはAUC: 0.904程度でしたが、こちらの方のモデルはAUC: 0.914とだいぶ差があります。

特徴量

分類モデルで重要だった特徴はHome Credit Default Riskの17th place solutionで書かれていたものです。

transactionのテーブルにtrainのテーブルをマージしてモデルを作り、予測値を得ることでtransactionの各行に対して予測値を得ます。これをmeta featureとしてmin、max、meanなどで集約して特徴量にします。

モデル

今回のタスクは回帰ですが、targetを[0, 1]の範囲に正規化し、xentropy lossを使うことで分類問題のように扱うことができます。

これはAvitoコンペで行われていた手法で、評価指標がRMSEであってもxentropy lossで訓練した分類モデルの方が良い精度を出しています。

5th place solution (Evgeny Patekha)

Discussion: https://www.kaggle.com/c/elo-merchant-category-recommendation/discussion/82314

特徴量

  • 数千の特徴量から特徴量選択→約100特徴量
  • target encodingを利用
    • targetの値そのものを使ったり、外れ値かどうかのバイナリを使ったりした
    • 特徴量の組み合わせに対してtarget encodingを行った後、最近のものほど重要視されるように重みをつけて集約した

モデル

  • 全データをつかった回帰モデル
  • 外れ値予測のモデル
    • このモデルの予測値が低いデータと高いデータで2つの回帰モデルを作った
    • 予測値が高いデータに対するモデルには、外れ値予測モデルの予測値自体を特徴量に含めた

7th place solution (senkin)

Discussion: https://www.kaggle.com/c/elo-merchant-category-recommendation/discussion/82055

特徴量

  • histのみ、hist+newauthorized_flag=1のみ、などの組み合わせで8つのデータセットを作成
  • new.purchase_date.max() / hist.purchase_date.max()が良い特徴だった
  • カテゴリ変数の系列をtf-idfをかけた後、TruncatedSVDで次元削減して5次元に落とした特徴
  • merchant_idmerchant_category_idなどをWord2Vecで埋め込んだ特徴
  • transactionのテーブルにtrainのテーブルをマージしたmeta feature
    • 1st place solutionと同様
  • null importanceを利用した特徴量選択

モデル

1st layerに12個のLightGBMと40個のニューラルネットワーク、2nd layerにもLightGBMとニューラルネットワークを用いてスタッキングを行った後、平均を取った。

その他

  • [Isotonic Regression]でカリブレーションを行った。CVは上がったが、PublicとPrivateは両方落ちた。
  • targetを[0, 1]に正規化し、xentropy lossで訓練した(1stと同様)

11th place solution (Zakaria EL Mesaoudi)

Discussion: https://www.kaggle.com/c/elo-merchant-category-recommendation/discussion/82127

特徴量

モデル

  • LightGBM
  • CatBoost
  • XGBoost
  • Random Forest(H2O)
  • GBDT(H2O)

でつくった32個のモデルをBayesian Ridgeでスタッキングした。

その他

  • 外れ値かを当てる分類モデルを4つ作り、各モデルで100個ずつ外れ値を予測した。4つのモデルが全て外れ値だとしたものを-33に置き換えた。
  • 後処理をしたものとしていないものを最終サブミットにした

16th place solution (nlgn)

Discussion: https://www.kaggle.com/c/elo-merchant-category-recommendation/discussion/82166

特徴量

コルモゴロフ-スミルノフ検定はライブラリに加えておきます。

モデル

  • 全データで学習したモデルの予測値
  • 外れ値抜きで学習したモデルの予測値
  • 外れ値かを予測するモデルを利用して修正した予測値

の3つをBayesian Ridgeを利用してブレンドした。

18th place solution (pocket)

Discussion: https://www.kaggle.com/c/elo-merchant-category-recommendation/discussion/82107

特徴量

  • Kernelと同様の集約特徴量
  • transactionの最終日がmagic featureだった
  • authorized_flag==0city_id==-1かどうかで絞った集約
  • 最近のtransactionのみを集約
  • magic featureを予測するモデルを作り、その誤差を特徴量にする

magic featureを予測するモデルを作り、誤差を特徴量にするのはHome Creditコンペでも有用だった手法ですね……

モデル

  • スタッキングの2nd layerはシンプルなモデル(Ridgeなど)の方がLightGBMなどより良かった
  • 外れ値かどうか、外れ値抜きでの予測値、全データでの予測値をRidgeにかけた

上位解法のうち、今後も使えそうなアイディアのメモ

僕たちの解法

特徴量

時間が少なかったので、Kernelに上がっていたものに加えて、new_merchant_transations.csvおよびhistorical_transactions.csvに含まれるカテゴリデータに対してCount Vector、NMFを行ったものを特徴量に加えました。

意味のなさそうな変数(カテゴリ同士のsumやprodなど)を手で取り除いたあと、null importanceに基づいて特徴量選択をしました。最終的に200特徴量ほどになりました。

モデル

LightGBMとXGBoostを重み4:1でアンサンブルしました。

後処理

全データで学習した回帰モデルのうち、外れ値の確率が低いものを外れ値抜きで学習したものに差し替えました。

また、外れ値の確率が十分高いものを-33.22で置き換えました。

いかにして僕たちが銀メダルを逃したか

予測値を-33.22で置き換えるのはリスクの大きい賭けであることは分かっていたので、最終サブミットは後処理を行ったものと行っていないものの2つを提出する予定でした。

最終日の朝8:00に起きた僕はKernelを確認し、ハイスコアなKernelが上がっていないことを確認して一安心しました。

次にDiscussionを確認したところ、CPMP氏がDeleted Postという投稿を書いているではありませんか! 慌ててページを開いたところ、どうやら上位ソリューションがフライングで公開されていたそうです。

念のためついていたコメントを全部読んだところ、その消された上位ソリューションの要約が貼られていました。大まかに言うと、外れ値を当てるときは2値分類でやるんじゃなくてランキング学習的にやるといいよー、みたいな感じでした。

このコンペでは外れ値の扱いが大事だと思っていた僕は慌ててLightGBMを利用したランキング学習の方法をググり、コードを書き、実験を回しはじめました。動悸がヤバかったのを覚えています。

で、もちろんその実験は終わるわけもなく、9:00を迎えました。

蓋をあけてみるとどうでしょう。最終提出に選ばれていたのは、どちらも後処理を行ったサブミットだったのです。ナイアガラの滝の如く落ちた順位。選ぶはずだったサブミットは銀メダル相当でした。

これが僕たちが銀メダルを逃した一部始終です。

みなさんは8:55くらいになったら「My Submissions」のタブを更新し、正しいサブミットが選ばれているかどうかを確認しましょう。

それでは……