pix2pixで自動着色

pix2pixでグレースケール化した画像からカラー画像を復元してみた。

結果

• 右列: testデータ
• 左列: testデータをグレースケール化したもので、pix2pixのinput
• 中央: pix2pixのoutput

右端の列は使われておらず、pix2pixの色付けとの比較用である。かなりうまくいった。

データセットにないジャンルも食わせてみる。

食べ物はおいしそうに色付けをするようだ。 くわしくはスライドへ。

(スライドはすべて同じ。スライドアップロードサービスの比較もかねている。)

Google Slide

SpeakerDeck

非常にうまくいっている原因をあげてみると

• 線画からではなく、グレースケール化したものからの復元
• データセットを目視できれいにした
• データセットをハンバーガーのみにした
• 食べ物はだいたい茶色ければうまそうに見える 等が考えられる。

pix2pixはGANである。GeneratorがAutoEncoderの一種のU-Netで、DescriminatorはCNNである。どちらもBatchNormalizationが入ってる。

使用した実装: github.com

画像さえ用意すれば前処理も実装に含まれているので、機械学習やってみた系だとかなりお手軽である。 画像400枚をGTX1060で3時間30分程度で学習できる。