2023年に読んだNILM（Non-Intrusive Load Monitoring）論文の1つ、Neural Fourier Energy Disaggregation の簡単な紹介をします。
手法名は NFED (Neural Fourier Energy Disaggregation) と命名されています。
2行で説明
簡単に言えば、
- 電力分離（NILM、Energy Disaggregation）の分野で FNet を使ったよ
- エッジデバイスでも使えそうな計算量、メモリ量になり性能も良かったよ
という論文です。
FNet
コアとなるのがFNetです。 Google Researchの研究者によって提案されたモデルとなります。
ポイントは
アーキテクチャは以下のようになっています。
AttentionレイヤーがFourierレイヤーに置き換えられているだけです。
FFTしたあとにその実部だけを使うのが最も性能が出たとされていて、オフィシャルのコードでもそうなっています。
Ablation studyもされており、
トークン混合手段として
を比較することによってトークン混合が大事であることを示しています。
この結果は トークン混合手段は何でもよい という[2111.11418] MetaFormer Is Actually What You Need for Vision にも合致しており、納得のいく結果です。
NFEDモデルアーキテクチャ
基本的にFNetと同じです。 ただ、FNetとの違いとしてNFEDでは FFT結果のRealとImagを結合しています。（コードだと51行目）
https://github.com/ChristoferNal/Neural-Fourier-Energy-Disaggregation/blob/main/nfed.py#L51
ここの意図は論文中に特に記載されておらず、気になるところではあります。
性能評価
評価データセット
UK-DALE と REFIT、REDD が使われています。 基本的には UK-DALEでの評価で 異なるデータセットをテストデータとしたときにREFITとREDDが使われています。
| Category1 | Category2 | Category3 | Category4 | |
|---|---|---|---|---|
| Train | UK-DALE 1家庭 |
UK-DALE 1家庭 |
UK-DALE 2~3家庭 | UK-DALE 2~3家庭 |
| Test | UK-DALE 1家庭（trainと同じ） | UK-DALE 1家庭（trainと別） | UK-DALE 1家庭（trainと別） | REFIT or REDDの1家庭 |
Category3, 4が最もハードな条件、ただ現実世界に近い条件になっています。
リファレンスモデル（ベースラインモデル）
の3つがリファレンスモデルとして使われています。
SAEDは同じ著者による提案手法ですが S2P、WGRUは他のNILM論文でもベースラインとしてよく登場する馴染みの手法です。
それぞれのアーキテクチャは次の通り。
S2P
WGRU
SAED
結果
今回はモデルの軽量化というのが狙いでもあり、F値やMAEと言った精度評価以外に メモリ容量、推論速度も評価対象に含まれています。
以下、5家電の結果です。
食洗機
洗濯機
冷蔵庫
電子レンジ
ケトル
提案手法であるNFED（青線）が4カテゴリにおける精度面でもシステム面（メモリ、処理速度）でもtopレベルであり良いという主張でした。
ただ、個人的にはオレンジ線のSAEDのほうが良さそうに見えてしまいます。。
所感
どんなに精度が高いモデルであってもシステム要求が厳しいのでは現実世界で使うことが難しいので実用性に目を向けた検討は（特にNILMの世界では）非常に良い方向性だと思いました。
性能比較結果からはリファレンス手法の1つであるSAEDのほうがどうしても良さそうに見えてしまうので、モヤモヤは残ります。
うがった見方をすれば、SAEDも同じ著者の提案手法なので引き立て役だったりするのかもしれませんw
論文の引用数もあまり多くないですし（本日時点で17件。ベースラインモデルのS2Pは505件、WGRUは147件）、今後、他の著者論文でも本論文が引用されるか注目していきたい所です。
