Sub-Pixel Convolutionについて#5【画像処理&機械学習】論文LT会！で発表しました
エルピクセル株式会社で開催された #5【画像処理&機械学習】論文LT会！ で発表しました。 題材に選んだのはSub-Pixel Convolutionで、関連する論文をいくつか紹介したという感じです。
ちょっと前だけど定番な論文から最新の論文まで、幅広い論文が紹介される良い会でした。運営のfam_taroさん、okamotoさん、ありがとうございました。 次回は残念ながらすでに締切が過ぎているようですが、次次回以降でタイミングが合えばまた参加させてください！
資料はSpeaker Deckにアップロードしています。7分の発表枠だったのですが、文量の調節をミスってだいぶオーバーしてしまったので反省です。
他の方の発表メモ (資料は随時追加します)
When Does Label Smoothing Help? (Appianさん)
- よく使われる割にはあまり理解されていないよね
- penultimate layer(dense layerの1つ前)の出力を可視化して確認
- hard labelを使った場合logitが極端な値を取るし、間違ったラベル同士もかけ離れてしまう
- knowledge distillationとの組み合わせはよくない
- データの種類に関する言及はあったか？
- ラベルノイズがある場合、学習に寄与すると考えられる
- 情報量が失われるというのは、2次元のmappingを見てのことか？
- label smoothingは他のラベルの情報も持たせているのだから、分布は広がるのでは？
- lossが極端な値を取らないので、penultimate layerも広がりが小さくなる
Unreproducible Research is Reproducible (紺さん)
- 再現性を細かく定義した
- シード、データセット、ハイパーパラメータ、順番などを変えると結果は大きく変わってしまった
- 1つのシードで比較しただけだと結論は出せない
- exploratory researchが多いが、empirical researchが増えるべき
- この論文にネガティブに引用されている論文はあるか？
- この論文中にはないが、そういう言及をしている論文もある
- ばらつきを考慮できる評価指標があるといいですよね
- random seed averageはよくやる
Move Evaluation in Go Using Deep Convolutional Neural Networks (msnrさん)
- Alpha Goの前身となる論文
- CNNで盤面状態を評価する
- 現在の状態の評価値と、次に取るべき行動を出力する
- 参加者の段位を持つchennelが存在するところが面白い
- 段位をchannelで表現するメリットはあるのか？
- アーキテクチャをいじるアプローチではなく、汎用的に使えるアプローチを好んでいるのではないか
Gait Recognition via Disentangled Representation Learning (twtwrさん)
- 歩き方は人に固有
- ユーザーの協力が不要で、遠くから判定できるが、服装や手荷物に大きく左右される
- 外観と歩様を分離するアプローチ
- 以下の3つの部分からなる
- 歩様特徴から画像を復元
- 歩様特徴に外観特徴が流れ込むのを抑制する部分
- 別の人物を識別できるようにする部分
- 人間的にはもつれていても、モデル的にはもつれていないことがあるのでは？
- 最初に「これが異なっていても同じに分類されてほしい」というような願望がある。それにあわせていくためには情報を分離する必要がある
Interpretation of Neural Networks is Fragile (klnWさん)
- NNの予測に対する解釈性へのAdversarial Attack
- 予測結果を保ちつつ、解釈だけを変更することができる
- 法律・医療など、意思決定を重視する領域では重要
- DNNの決定境界は区分的に線形なので、ロスに対する勾配の向きを変えることが容易
- どの次元が寄与したかだけではなく、どの学習データが予測に寄与したかという解釈もハックできる
- オリジナルとの非類似度が大きくなるように更新し、距離が大きくかつラベルが一緒になるものを採用
- じゃあどうすればいいのかも付録に書いてある
- 自然に乗るノイズでも判断根拠がブレることが起こりうるか？
- あり得る。今出ている特徴マップがたまたま出ている可能性があることを考慮しなければいけない
Mask Scoring R-CNN (fam_taroさん)
- bounding boxが綺麗についていて、予測も正しいのに、セグメンテーションがうまくいかないケースがある
- 分類の質とマスクの質は相関がなかった
- Mask R-CNNにマスクのIoUを予測するサブネットワークを追加して精度向上
- セグメンテーション一般で評価指標を予測するサブネットワークを追加するアプローチは有効かも
- dice lossを追加するのとは何が違うか分からない
Learning to Generate Synthetic Data via Compositing (phalanxさん)
- 自然な合成画像を作る手法の提案
- 画像を合成するネットワークと、合成された場所を見破るネットワークをE2Eで学習
- 本物の画像と合成画像を見分けるdiscriminator
- synthesizer networkは前景をどう変換して重ねるかを出力
Distilling the Knowledge in Neural Network (kaerururuさん)
- アンサンブルモデルの出力を蒸留したら軽量モデルで表現可能
- 教師生徒の両モデルについて、温度付きsoftmaxのKL divergenceが小さくなるように学習を進める
- 温度付きを使うのは、どのクラスとどのクラスが間違いやすいかも学習したいので、温度パラメータをつけることで出力をマイルドにする
- 温度はどう決める？
- 論文中ではいくつか試して選んでいた
