DNET_KaggleGettingStarted

Kaggle - Competitions - Getting Started

• 戻る
  • Kaggle - Notebook (Kernel)
  • Kaggle - Competitions - Getting Started

概要

Kaggle - Competitions - Getting Started で

• https://www.kaggle.com/competitions?sortOption=numTeams&hostSegmentIdFilter=5

最も代表的な２つのチュートリアル相当をやってみる。

詳細

• チュートリアルをヤッた結果、基本操作以外に以下が重要になる事が解った。
• 具体的には、数値・カテゴリカル・データ以外の特徴量エンジニアリング。
• タイタニックでは、
  • Name、Cabin、Ticketから、Title、Deck、TicketGroupSizeなどの特徴量をエンジニアリング
  • さらに、デッドリスト、サバイブリストを作成するテクニックもあるらしい。

タイタニック生存者予測（Titanic）

https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/path/ScikitLearnTraining6.ipynb

Accuracy: 0.8212290502793296

データの読込（Titanic）

• インターネット上のCSVを直読み。
• ORGデータから少々編集処理がされている。

データの確認（Titanic）

概要確認（Titanic）

• 列名一覧

• 変数説明

• データの最初の数行を表示

• データフレームの情報を表示

• 基本的な統計量を表示

• 各列の欠損値の数を表示

• 数値データの分布を確認

• カテゴリカル変数の可能性のある列

• カテゴリカル変数の値のカウント

• Nameは解るケド、Ticket、Cabinって何？

  • Name
  • Ticket
  • Cabin

詳細確認（Titanic）

• カテゴリカルデータの頻度分析

• 相関行列をヒートマップで表示

• 数値の説明変数と目的変数の関係の確認

  • Age
  • SibSp
  • Parch
  • Fare

• カテゴリカル説明変数と目的変数の関係の確認

• その他の説明変数と目的変数の関係の確認

データの前処理（Titanic）

特徴量エンジニアリング（Titanic）

• Deck
• FamilySize
• TicketGroupSize
• Title

欠損値の処理とエンコーディング（Titanic）

欠損値の処理とカテゴリカル変数のエンコーディング

• Embarkedの欠損値処理
• カテゴリカル変数のエンコーディング
• Ageの欠損値処理

デッドリスト、サバイブリスト

（詳しくはリンク先のNotebookをご参照下さい）

• デッドリスト(Dead_list)
  16才以下または女性のグループで全員生存する慣例に反し全員死亡した名字（姓）のリスト
• サバイブリスト(Survived_list)
  16才を超えかつ男性のグループは全員死亡する慣例に反し全員生存した名字（姓）のリスト

該当データは推論時データを結果がデッド or サバイブになるように書き換える。

特徴量の選択（Titanic）

変数名	説明
Survived	目的変数、以下はすべて説明変数。
Pclass	富豪ほど生存
Age	20歳未満の生存率が高い、幼児は特に生存率が高い。欠損値は他の特徴量から推定
SibSp	大所帯の生存率が低い。次いで、独り身の生存率が低い。
Parch	大所帯の生存率が低い。次いで、独り身の生存率が低い。
Fare	最低の価格帯以外は生き残る確率が高い。高価格帯は顕著に高い（Pclassと高い相関関係）
FamilySize	SibSp・Parchから特徴量エンジニアリングしたFamilySize = SibSp + Parch + 1は同じ様な傾向を示す。
TicketGroupSize	Ticketから特徴量エンジニアリングしたTicketGroupSizeはFamilySizeと同じ様な傾向を示す。
Sex_	女性ほど生存
Deck_	Cabinから特徴量エンジニアリングしたDeck、避難経路と関係し、目的変数と高い相関関係を示す。
Title	名前から特徴量エンジニアリングした肩書、地位と関係し、目的変数と高い相関関係を示す。
Embarked_	C=Cherbourg、Q＝Queenstown、S＝Southamptonのうち、Southamptonが優遇されているが、間接的な影響の可能性

学習と推定（Titanic）

データ準備（Titanic）

• XY分割
• ホールドアウト法分割
• 標準化

学習（Titanic）

幾つかのモデルを試す。

• ロジスティック回帰
• ランダムフォレスト
• 勾配ブースティング

推定（Titanic）

デッドリスト、サバイブリストのテクニックで正解率が上がる。

評価（Titanic）

Accuracy: 0.8212290502793296

住宅価格予測（House Prices）

元 Wiki では見出しのみで、以下の内容は未記載。

• データの読込
• データの確認（概要確認 / 詳細確認）
• データの前処理（特徴量エンジニアリング / 欠損値の処理とエンコーディング / 特徴量の選択）
• 学習と推定（データ準備 / 学習 / 推定 / 評価）

参考

Titanic

• Kaggle のタイタニック問題に Keras で挑戦した。
  前処理が課題だと分かった。 | Futurismo
  https://futurismo.biz/archives/6296/

• KaggleチュートリアルTitanicで上位3%以内に入るには。(0.82297)
  IMACEL Academy -人工知能・画像解析の技術応用に向けて-| エルピクセル株式会社
  https://lp-tech.net/articles/0QUUd

• タイタニック号の乗客の生存予測
  80%以上の予測精度を超える方法（モデル構築＆推論編） │ キヨシの命題
  https://yolo-kiyoshi.com/2020/01/22/post-1588/

• 【Kaggle初心者入門編】タイタニック号で生き残るのは誰？
  https://www.codexa.net/kaggle-titanic-beginner/

• ChatGPT-4にKaggleのタイタニック号の生存予測モデルの
  特徴量エンジニアリングについて質問してみた(大城)｜ChatGPT部 Produced by NOB DATA
  https://note.com/chatgpt_nobdata/n/n8a436d82d7c4

• タイタニック号の乗客の生存予測～Kaggleに挑戦 │ キヨシの命題

  • （その１）
    https://yolo-kiyoshi.com/2017/11/15/post-499/
  • （その２）
    https://yolo-kiyoshi.com/2017/11/19/post-575/
  • （その３）
    https://yolo-kiyoshi.com/2017/11/26/post-599/
  • 誰でも理解できる予測モデルの構築
    https://yolo-kiyoshi.com/2018/01/08/post-705/
  • 探索的データ解析編
    https://yolo-kiyoshi.com/2018/12/16/post-951/
  • モデル構築＆推論編
    https://yolo-kiyoshi.com/2020/01/22/post-1588/

Kaggle（Titanic）

• 【日本語】Titanic_チュートリアル
  https://www.kaggle.com/code/hatokgl/titanic

• 実践 Kaggle Titanic 生存者予測
  https://www.kaggle.com/code/tatsuyateshima/kaggle-titanic

• Kaggleチュートリアル『Titanic生存者予測』をやってみよう！
  https://www.kaggle.com/code/plasticgrammer/kaggle-titanic

Qiita（Titanic）

• Kaggle初挑戦感想とタイタニック正答率81%の内容
  https://qiita.com/FukuharaYohei/items/c87f61aee2a24466d5d4

• KaggleチュートリアルTitanicで上位2%以内に入るノウハウ
  https://qiita.com/jun40vn/items/d8a1f71fae680589e05c

• 初心者がKaggle Titanicで上位1.5%(0.83732)以内に入るアプローチ解説

  • https://qiita.com/shiroino11111/items/bc3889fa38ff32d46c13
  • https://qiita.com/shiroino11111/items/fb6aa6b7dba2ddc3ce04
  • https://qiita.com/shiroino11111/items/21bf1303587eeae0fc30

House Prices

Kaggle（House Prices）

• House Prices - Advanced Regression Techniques
  https://www.kaggle.com/c/house-prices-advanced-regression-techniques

• 住宅価格の予測（House Prices）
  https://www.kaggle.com/code/walzer55/house-prices

• Kaggle 日本語チュートリアル:Prediction(予測) House Prices
  https://www.kaggle.com/code/katotaka/kaggle-prediction-house-prices/notebook

Qiita（House Prices）

• Kaggleの練習問題（Regression）を解いてKagglerになる
  https://qiita.com/katsu1110/items/a1c3185fec39e5629bcb

• 【データ分析、Kaggle入門】House Pricesの日本語チュートリアル記事4選
  https://qiita.com/yyokii/items/a5a772bf4f32183a3501

移行メモ

• 見出し「タイタニック生存者予測（Titanic」「住宅価格予測（House Prices」の 閉じ括弧の欠落を補った。
• 特徴量の表の「地位とと関係し」→「地位と関係し」に修正した。 また Age の「欠損値はから推定」は語句が欠落していたため 「欠損値は他の特徴量から推定」とした。
• 「住宅価格予測（House Prices）」配下は元 Wiki の時点で見出しのみだったため、 箇条書きにまとめ、未記載である旨を明示した。
• 同名の見出し（「データの読込」「データの確認」「概要確認」「詳細確認」 「データの前処理」「特徴量エンジニアリング」「欠損値の処理とエンコーディング」 「特徴量の選択」「学習と推定」「データ準備」「学習」「推定」「評価」 「Kaggle」「Qiita」）が Titanic / House Prices で重複し GitHub Wiki でアンカが衝突するため、括弧で文脈を補って一意にした。
• PukiWiki のページ内アンカ（#xxxxxxxx）は GitHub Wiki では再現できないため、 同一ページ内のアンカは見出しから生成されるアンカに張り替えた。

---

Tags: 移行, Kaggle, Titanic, House Prices, 特徴量エンジニアリング, 機械学習, コンペティション