Learning Perceptually-Aligned Representations via Adversarial Robustness

[raxman0721]

論文

Learning Perceptually-Aligned Representations via Adversarial Robustness

著者

Logan Engstrom, Andrew Ilyas, Shibani Santurkar, Dimitris Tsipras, Brandon Tran, Aleksander M adry

投稿日付(yyyy/MM/dd)

2019/06/03

1. どんなもの？

adversarial examplesの様に人間では簡単でもNNでは分類が難しくなるといった現象があるが、このモデルの特徴表現を人間に近い感覚で学習させようという研究。
これによりモデルの解釈が深まり、操作がしやすくなった。

2. 先行研究と比べてどこがすごい？

人間的に意味の無い変化に対してモデルはロバストである必要があるが、そのロバスト性は敵対的サンプルに対応するだけでなく、人間の感覚的に近づいているとしてモデルの理解をより深めることが出来る。
このことから画像の補間や特徴の操作、モデルの説明性などが向上するとした。

3. 技術や手法のキモはどこ？

人間にはあまり意味のないノイズを画像に付与して、それに対応出来るように訓練する。
adversarial examplesに対応するモデルと同様の訓練方法

4. どうやって有効だと検証した？

特徴の視覚化
学習済モデルのある特徴ベクトルを局所的に大きくした際に画像に特徴が強く現れる。
この特徴が人間的にも理解近くと近いものになっている。

こちらは特徴量を操作するわけでなく、test画像からその特徴量が高い/低い画像を選択したもの。

入力画像の補間(latent walk)
画像を2枚与えた際にその間にも、意味のある画像を出力し続ける。
ただ単にピクセル間の移動にならない。

モデルの解釈
予測を間違った画像を抽出して、その画像がご分類されたクラスに関する特徴量を最大化することで視覚化する。
間違えた感覚としても、人間の感覚と近いものがある。
(下記の例では虫と分類してほしかったが左側のスペースが犬っぽく見えたり、魚を変えると間違えた例では2匹の魚がカエルの目に見える等。)

5. 議論はある？

今回の結果を通して、新たな視点でアプローチされる研究が増えるだろう
(モデルの解釈性、画像操作、表現学習等)

6. 次に読むべき論文は？

adversarial examplesに対応するように訓練する論文
Towards Deep Learning Models Resistant to Adversarial Attacks

7. 実装コード

https://github.com/MadryLab/robust_representations