論文紹介：DiffNILM: A Novel Framework for Non-Intrusive Load Monitoring Based on the Conditional Diffusion Model

NILM(Non-Intrusive Load Monitoring)の論文紹介 3回目です。今回は2023年に発表された論文の1つを紹介します。

拡散モデル（Diffusion model）は以下の図のように拡散過程と逆拡散過程から成り、逆拡散過程によってランダムノイズからデータを生成します。

NILMは分離のタスクなので

となります。

単純に拡散モデルを適用してもランダムに電力データが出力されるだけとなり目的には合いません

そこで条件付きの拡散モデルの出番です。 DALL・Eなどの画像生成AIではプロンプトがそれ（条件）に当たり、条件に応じた生成データを出力してくれます。

図中のConditional inputsとなるところが条件入力となり、

が入力されます。

これにより、家全体の消費電力情報と時間情報に応じて各家電の消費電力データ（Diffused appliance-level power data）を生成できるようになります

（拡散モデルなのでモデル自体は真の家電消費電力データに近づくように取り除くべきノイズ成分 $ \epsilon_{\theta} $ を出力します）

家電は季節や時間帯によって使われやすい/使われにくいが変わってくるので時間情報を埋め込みとして入力するのは Make sense です

の3次元情報を ~0.5~+0.5 の範囲で埋め込みます

推定ノイズ成分 $ \epsilon_{\theta} $ を出力するネットワークです

実験情報では残差レイヤーは10個とのことで大きいネットワークです。

活性化関数としては SiLu （Sigmoid Linear Unit）が使われています。

実験情報では T = 1000 となっています

開始
学習データセットから家電正解電力 $ x_0 $ を取り出す
1~1000の一様分布から $ t $ をサンプリング
時刻 $ t $ でのノイズ率 $ \sqrt{\overline{\alpha}_{t}} $ 〜 $ \sqrt{\overline{\alpha}_{t-1}} $ の一様分布からノイズ率 $ \sqrt{\overline{\alpha}} $ をサンプリング
標準正規分布からノイズ $ \epsilon $ をサンプリング
モデルで予測したノイズ成分 $ \epsilon_{\theta} $ と $ \epsilon $ の L1対数誤差を損失関数として逆伝搬させる
- $ \sqrt{\overline{\alpha}} $ ：ステップ4のノイズ率
- $ x_{\overline{\alpha}} $ ：正解電力 $ x_0 $ にノイズ率 $ \sqrt{\overline{\alpha}} $ に応じてノイズを付加したデータ
- $ x_d $ ：全体電力データと時刻情報埋め込みデータ
収束するまで続ける

L1損失ではなく対数L1損失を使うほうが収束も速く、結果も良かったとのことです。

標準正規分布からランダムノイズ $ x_T $ をサンプリング
$ T_{infer} $ ステップ分、以降の処理（3. ~ 6.）を繰り返す
標準正規分布からランダムノイズ $ z $ をサンプリング
ノイズスケジューラから時刻 $ t $ における $ \overline{\beta}_{t} （= 分散）$ を計算
モデルにノイズ成分 $ \epsilon_{\theta} $ を予測させ、$ x_t $ から引き算する（→時刻 $ t $ での $ x_t $ の平均値 $ \mu_{\theta} $）
時刻 $ t $ での平均値 $ \mu_{\theta} $ にステップ3のランダムノイズ $ z $ に分散をかけたものを加算し、$ x_{t-1} $ とする
$ t = 0 $ になるまで繰り返す
$ t = 0 $ 時点での生成電力データ $ x_0 $ （=家電の予測電力データ）を返す

実験情報からは $ T_{infer} = 8 $ ということでたった8ステップで生成できるのは驚きました