Batch Normalizationの実験 - sanshonokiの日記

Practical Deep Learning For Coders, Part 1の lesson3.ipynb に

Batchnorm resolves this problem by normalizing each intermediate layer as well. The details of how it works are not terribly important (although I will outline them in a moment) - the important takeaway is that all modern networks should use batchnorm, or something equivalent. There are two reasons for this:

Adding batchnorm to a model can result in 10x or more improvements in training speed Because normalization greatly reduces the ability of a small number of outlying inputs to over-influence the training, it also tends to reduce overfitting.

と、Batch Normalizationを使うことが強く推奨されていますが MNISTでBatch Normalization（BN）を使ってみたところ、あまり変わりませんでした。

というか、BN使ったほうが微妙に劣っていました。。

lr=0.001で1epoch学習後にlr=0.0001でさらに8epoch学習

	loss	acc	val_loss	val_acc
BNなし	0.0133	0.9957	0.0205	0.9936
BNあり	0.0158	0.9948	0.0369	0.9889

というわけで、MNISTとCIFAR10のデータセットを使って少し実験してみました。

Batch Normalization

日本語で概要をつかむには以下の記事が分かりやすかったです。 deepage.net

Batch Normalizationでの逆伝搬の仕組みについてはいろいろな記事で Understanding the backward pass through Batch Normalization Layer がよく引用されていました。

MNIST

モデルは以下のように定義しています。

model = Sequential([
    Lambda(norm_input, input_shape=(1,28,28)),
    ZeroPadding2D((1, 1)),
    Convolution2D(32, 3, 3, activation='relu'),
    MaxPooling2D(),
    ZeroPadding2D((1, 1)),
    Convolution2D(64, 3, 3, activation='relu'),  
    MaxPooling2D(),
    Flatten(),
    Dense(512, activation='relu'),
    Dropout(0.5),
    Dense(10, activation='softmax')
    ])

Batch Normalizationを使うと大きい学習係数を使えると言われているので学習率を10倍にしてみました。

lr=0.01で1epoch学習後にlr=0.001でさらに8epoch学習 （学習率を10倍にする）

	loss	acc	val_loss	val_acc
BNなし	0.2219	0.9352	0.1436	0.9582
BNあり	0.0507	0.9886	0.0567	0.9877

BNなしだと 93.5% 程度で止まってしまったのに対して BNありだと 98.8% まで学習が進みました!

確かに効果が確認できました。

CIFAR10

続いてMNISTより難しい分類問題のCIFAR10です。

モデルは Kerasのチュートリアルにあるコードを参考に定義しました。

model = Sequential()
model.add(ZeroPadding2D((1, 1), input_shape=x_train.shape[1:]))
model.add(Convolution2D(32, 3, 3, activation='relu'))
model.add(MaxPooling2D((2, 2), strides=(2, 2)))
model.add(Dropout(0.25))
model.add(ZeroPadding2D((1, 1)))
model.add(Convolution2D(64, 3, 3, activation='relu'))
model.add(Convolution2D(64, 3, 3, activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))

50epoch学習した結果

	loss	acc	val_loss	val_acc
lr=0.0001、BNなし	0.8875	0.7005	0.8007	0.7398
lr=0.0001、BNあり	0.6417	0.7824	0.7124	0.7671
lr=0.001、BNなし	2.1267	0.2226	2.0676	0.2230
lr=0.001、BNあり	0.5938	0.8006	0.5055	0.8264

MNISTよりも差が顕著に出ました。学習係数を大きくした lr = 0.001 だと BNなしでは発散してしまっています。

一方、BNありは学習係数を大きくしても学習が進んでいき、学習係数の大きいlr=0.001 + BNありが最もよい結果になりました。

FC層のみをファインチューニングする場合

Practical Deep Learning For Coders, Part 1の中で幾度となく登場する あらかじめ学習したモデルで最終Conv層の出力を保存しておき、FC層のみをファインチューニングする方法 でもやってみました。

MNIST

FC層のみをlr=0.0001で8epoch学習（lr=0.001で1epoch学習したモデルでconv層出力を計算しておく）

	loss	acc	val_loss	val_acc
lr=0.0001, BNなし	0.0170	0.9949	0.0226	0.9918
lr=0.0001, BNあり	0.0144	0.9955	0.0237	0.9923

FC層のみをlr=0.001で8epoch学習（lr=0.01で1epoch学習したモデルでconv層出力を計算しておく）

	loss	acc	val_loss	val_acc
lr=0.001, BNなし	0.0664	0.9790	0.0663	0.9801
lr=0.001, BNあり	0.0765	0.9756	0.0704	0.9794

なんと、学習係数の大きい lr=0.001でも BNありと BNなしで差が見られなくなってしまいました。。

CIFAR10

FC層のみをlr=0.0001で25epoch学習（lr=0.0001で25epoch学習したモデルでconv層出力を計算しておく）

	loss	acc	val_loss	val_acc
lr=0.0001、BNなし	0.6768	0.7764	0.7716	0.7444
lr=0.0001、BNあり	0.4751	0.8418	0.7227	0.7636

BNありだと学習データのロスがより小さくなりましたが完全に過学習になってます。。

実験結果のまとめ

複雑なモデル、学習率を高くした場合でBatch Normalizationによる安定化効果が効く
FC層のファインチューニングだけだとそのメリットが小さくなる。むしろ学習が進みすぎて過学習を招く危険性?!

BNを使うと学習が安定する = 学習が速く進むということが確認できました。

FC層のファインチューニングだとありがたみが薄れたので学習初期ほどBatch Normalizationによる安定化が効果を発揮するということでしょうか

今回使ったコードはhttps://github.com/tanakatsu/bn-experiments にあります。

fast.aiの記事から

http://www.fast.ai/2017/09/08/introducing-pytorch-for-fastai/

With the increased productivity this enabled, we were able to try far more techniques, and in the process we discovered a number of current standard practices that are actually extremely poor approaches. For example, we found that the combination of batch normalisation (which nearly all modern CNN architectures use) and model pretraining and fine-tuning (which you should use in every project if possible) can result in a 500% decrease in accuracy using standard training approaches. (We will be discussing this issue in-depth in a future post.) The results of this research are being incorporated directly into our framework.

Conv層出力のprecompute + FC層のファインチューニングは良くないと書いてあります。

oh... やはりそうだったのか・・・ !

We will be discussing this issue in-depth in a future post とあるので記事を待ちたいと思います。