GCEインスタンスに急にsshログインできなくなったときの対応

ローカルマシンを新調したら今までsshでログイン出来ていたリモートホストに突然ログインできなくなりました。 $ gcloud compute ssh REMOTE_HOST USER@IP_ADDRESS: Permission denied (publickey). sshに関してよくあるエラーメッセージです。 ただ、新旧マ…

論文紹介: SAED: self-attentive energy disaggregation

今回もNILM(Non-Intrusive Load Monitoring)論文紹介です。 前回のNeural Fourier Energy Disaggregationの論文紹介でリファレンス手法として挙げられていた論文です。 link.springer.com 2行で説明すると BidirectionalGRUの代わりにシンプルなAttention…

Mac (Apple Silicon) で gcsfuse を使う方法

意外と参考記事がなかったのでメモを残します。 インストールまではスムーズですがその後のセキュリティ絡みのところが面倒でした。 前提 Google Cloud SDK(gcloud CLI)のインストール済み 参考記事:gcloud CLI をインストールする | Google Cloud CLI の…

論文紹介: Neural Fourier Energy Disaggregation

2023年に読んだNILM(Non-Intrusive Load Monitoring)論文の1つ、Neural Fourier Energy Disaggregation の簡単な紹介をします。 手法名は NFED (Neural Fourier Energy Disaggregation) と命名されています。 www.mdpi.com 2行で説明 簡単に言えば、 電力…

Google Home Mini と LINE の連携

想定シナリオ(やりたいこと) 以下の状況で 子どもはスマホをもっていない 学校から帰宅した時、家に両親が不在で子ども1人になる 子どもが帰宅して、スマートスピーカー(Google Home Mini)に呼びかけると両親のLINEグループに メッセージが送信される こ…

Make(旧Integromat)でWebサービスにログインした後の遷移先ページを取得する方法

前回の記事の中で Makeを使って、Webサービス(サークルスクエア)からイベントリストを抜き出して、Googleカレンダーに登録するということをやりました。 Webサービスにログインしてログイン後に遷移するページのHTMLを取得することはいちおう可能だったの…

Make(旧Integromat)でサークルスクエアのイベントをGoogleカレンダーに登録する

モチベーション 子どものラグビースクールのスケジュールがサークルスクエアで管理されているのですが、サークルスクエアは度々セッションが切れてしまいその度にログインを求められ、イベントリストを確認するときに煩わしさを感じていました。 そのため、…

NILMのパブリックデータセットの入手方法

前回の記事で紹介したNILMTKを使ってNILMのパブリックデータセットを扱う方法の記事です データセットの入手先まとめ REDD: http://redd.csail.mit.edu/ REFIT: https://pureportal.strath.ac.uk/en/datasets/refit-electrical-load-measurements-cleaned UK…

NILMTKのインストール

NILMTKのインストール方法の記事です。 ニッチなジャンルの話でここに辿り着いた方はNILMが何かを知っていると思うのでNILMが何かについては省略です。。 うまくいかなかった方法 公式のドキュメントではAnacondaでのインストールを推奨していますがうまくい…

seleniumをdockerで動かす

モチベーション sanshonoki.hatenablog.com 約1年前、ジョブカンの工数入力するツールをseleniumを使って実装しました。 自分自身で今現在も使っていてかなり役立っていますが一つだけ課題がありました。 それは、chromeブラウザのバージョンがいつの間にか…

ミニマルな論文管理ツールを作る

年始休暇中に(自分向け)論文管理ツールを実装しました。 github.com モチベーション 1年前ぐらいに Mendeley という論文管理ウェブサービスを試してみましたが 同じ論文が重複に登録されたりして何かイマイチだなぁと感じてその後は使っていませんでした …

ジョブカンの工数入力を自動で行うスクリプト

会社員たるもの何人たりとも勤怠管理から逃れることができません.. 私が所属している会社では勤怠管理システムとしてジョブカンというものを利用していますが 毎日の工数入力がめんどくさい、苦痛 それ以外の何物でもありません。 (ジョブカンのホームペー…

オンラインPOGドラフト用のツール

今年度の仲間うちでのPOGドラフト会議は3密回避のためリモート開催となりました。 ローカルルール 1~3位は入札方式。競合した場合はあみだくじで抽選 4位以降はウェイバー方式で順繰りに指名 入札フェーズ: GoogleFormsの利用 GoogleFormsを利用しました。 …

ruby1.9.3でseleniumを動かす

超レガシー環境のruby1.9.3で動かしていたスクレイピングをseleniumを使ったものに対応させる必要性があり、その時のメモです。 Dockerfile FROM ruby:1.9.3 RUN apt-get update RUN apt-get install -y ttf-freefont chromium unzip libgconf-2-4 ADD Gemfi…

Heroku Schedulerの怪しい挙動

WebアプリでHeroku Schedulerでバッチ処理をしていたのですがたまに実行されないことが幾度かありました。 あれ?と思いつつも自分しか使わないサービスだし、たまにだったので手動再実行で対応していました。。 が、やはり気持ち悪いので重い腰をあげて今回…

letter_opener_webをRails3.2+ruby1.9.3の環境で使う

送信メール確認用にdevelopment環境ではletter_openerを使っていたのですが dockerへ移行したので動かなくなりました。。 そこで、Webインターフェースで送信メールを確認できるletter_opener_webに乗り換えました。 ただ、Rails3.2+ruby1.9.3という古い環境…

Heroku上のRails3アプリの延命対策

プライベートユースでHeroku上で運用しているWebアプリ(Rails3.2 + ruby1.9.3)があるのですが Cedar-14 stack end-of-life window begins 1 May 2019 | Heroku Dev Center のアナウンスがあり、来年5月からビルドができなくなってしまうとのこと ならば、…

Azureデータサイエンス仮想マシンでハマったこと

東大松尾研のDL4USのLesson7 Section4は学習時間が相当かかるのでGoogle Colab上での実行が困難です。 (実際に40時間以上かかりました。。) このため、このSectionだけは Azureにインスタンスを作って動かしました。 そのときのメモです。 一言でいうと、…

東大松尾研のDL4USをやってみた感想

東大松尾研が公開しているエンジニア向けDeep Learning講座、DL4USの評判が良さそうなので一通りやってみました。 やってみての感想 これまでディープラーニングのオンライン講座は fast.ai が一番だと思ってました。 ただ、 オリジナルのライブラリで抽象化…

初仔の成績の分析

現3歳世代、ジェンティルドンナやヴィルシーナといった名牝の初仔はPOG的には不発でした..(秋や古馬になって活躍するかもしれませんが) 初仔は走らないのでしょうか.. ?? そういうことどこかで聞いたことあるよなぁ、、と思いつつ調べてみると、 どうやら…

厩舎のコメントからキーワード分析する

POGの本には冒頭に厩舎コメントつきの2歳馬の写真ページがあります。 この例で言えば、「厩舎の一番馬ですね。来たときから均整の取れた馬体をしていました。(以下、略)」が厩舎のコメントにあたります。 このコメントからその後の活躍を予感させるサイン…

種牡馬の年齢と産駒成績との関係

先日、ディープインパクトとキングカメハメハの種付け中止 という衝撃のニュースが流れました JRAキングカメハメハ「種牡馬引退」濃厚の種付けなし。ディープインパクトを超える「豪華後継馬」に道譲る | GJ 両馬とも高齢になってきて健康面での問題からの種…

母馬年齢と産駒の成績との関係

また今年も日本ダービーが近づいてきました。 というわけで、POGのデータ分析を少しやってみました。 今回は母馬年齢と産駒の成績の関係を調べてみました。 調査は以下の2シーズンのデータを使って行います。 2018~2019の皐月賞後までの成績 2017~2018の皐月…

arXivの論文をチェックするbot

AIの最新の動向を追いたいならarXivをチェックしないわけにはいきません! しかし、 自分の業界のキーワードにマッチする論文は数ヶ月に1回あるかないか... 毎日チェックするのは面倒 そこでボットを作ってチェックすることにしました システム構成 システム…

Flask + Flask-Scriptでgunicornをマニアックに起動する

HerokuでpythonのWebアプリを動かすとき Flask-Scriptを使っている場合、 == manager.py == from flask import Flask from flask_script import Manager app = Flask(__name__) manager = Manager(app) if __name__ == "__main__": manager.run() == Procfil…

キャンプ場レビューのWordCloud画像の検索サービスを作る

WordCloud画像は以前の記事で作れるようになったので今回、全キャンプ場分の画像を作成し検索できるようにしました。 こんな感じです。 https://campsite-wordcloud.herokuapp.com/ 検索ボックスにキーワードを入力してキャンプ場を検索 候補が複数あるとき…

Kerasの学習の再現性を担保する

学習のたびに精度(結果)が違ってしまい、後になって資料のためのグラフを作ろうとしたときなどたまに困るので再現性を担保する方法を調べました。 参考になった記事 https://qiita.com/okotaku/items/8d682a11d8f2370684c9 https://machinelearningmastery…

Flaskのベストプラクティスの研究

FlaskといえばpythonでさくっとWebアプリをつくれるフレームワークです。 ちょっとしたAPIを公開する分にはすべてを1ファイルに書いてしまって何ら問題ないのですが 複数ファイルに分けたくなるような規模のWebアプリを実装するときにプロジェクト構成がカオ…

MeCab用のDockerfile

前回の内容の環境構築をDockerfileで作ろうとしてドハマりしました.. 「mecab dockerfile」とググれば何個も参考になる記事が出てくるので楽勝だろうと踏んで作業開始。 しかし、Dockerfileを作りビルドしたところ、、 opt/mecab-ipadic-neologd/bin/../libe…

キャンプ場レビューからWordCloudを生成

趣味のキャンプに役立つ何かをということで キャンプ場のレビューコメントからWordCloudを生成するというのをやってみました。 やったこと キャンプ場のレビューを集める MeCabで単語に分割する WordCloudを生成する キャンプ場のレビューを集める なっぷ と…