ディープラーニング学習メモ #1 行列

Udacityの Deep Learning Nanodegree Foundation の Week1 が終わりました。

シラバスでは学習時間の目安は 3-4 hours per week と書いてありましたがかれこれ20時間近く費やしています。。ヽ(;´Д`)ノ

誤差の逆伝搬の詳しい仕組みとか今までスルーしてきたところなのでそれなりに理解に時間がかかるのは仕方ない…とは思いつつも Week2以降大丈夫だろうか? 不安。。

それはおいとき、自分自身の理解をより深めるために少しずつ学習メモを残していきたいと思います。

1回目は 行列です。

行と列とrowとcolumn

どちらが行でどちらが列か、、

イメージで覚えると忘れにくいです。次の図が分かりやすかったです。

http://sci.tea-nifty.com/blog/2014/12/row-column-f052.html

http://sci.tea-nifty.com/photos/uncategorized/2014/12/06/b4ffosxciaazysl.jpg

http://id.fnshr.info/2015/10/17/matrix/

http://id.fnshr.info/wp-content/uploads/sites/2/2015/10/column.png

http://id.fnshr.info/wp-content/uploads/sites/2/2015/10/row.png

http://lambdalisue.hatenablog.com/entry/2013/07/18/134507

http://cdn-ak.f.st-hatena.com/images/fotolife/l/lambdalisue/20130718/20130718131854.png

行と列の関係は 画像処理に慣れている人は混乱するかもしれません。(私だけ??)

というのも、画像のサイズは通常、 W (横の大きさ) x H (縦の大きさ) と表現しますがこれを行列にすると逆になります。

つまり、W x H の画像は H x W の行列で表現されます。

f:id:sanshonoki:20170214062324p:plain:w400

numpyでの行ベクトルと列ベクトル

numpyの次の3つの構造のイメージつくでしょうか..?

(m, )

(m, 1)

(1, m)

正解・・・

(m, ) は 1次元ベクトル、

https://wikimedia.org/api/rest_v1/media/math/render/svg/507111acf945f5fe57c45ecc563ec02a4aff4a1b

(m, 1) は 列ベクトル

https://wikimedia.org/api/rest_v1/media/math/render/svg/32bf4d54c8e316178fca0b9f4a79dd0a0a34f34f

(1, m) は 行ベクトル

https://wikimedia.org/api/rest_v1/media/math/render/svg/507111acf945f5fe57c45ecc563ec02a4aff4a1b

(m, 1) はついつい横方向のベクトル、行ベクトルと思ってしまいますがこれは落とし穴で列ベクトルです。 慣れだとは思いますが。。

1次元ベクトルを列ベクトルに変換する方法

いったん2次元にしてから転置(transpose)する必要があります。 記述は 2パターンあります。

>>> data = np.array([1,2,3])
>>> data
array([1, 2, 3])

# 方法1
>>> data[:, None]
array([[1],
       [2],
       [3]])

# 方法1'
>>> data[:, np.newaxis]
array([[1],
       [2],
       [3]])

# 方法2
>>> np.array(data, ndmin=2).T
array([[1],
       [2],
       [3]])

2回目へ続く(はず。。)

Udacityのディープラーニングのナノ学位基礎コースを受講することにした

Udacityのディープラーニングのナノ学位基礎コースを受講登録しました。

f:id:sanshonoki:20170125064028j:plain

お値段 399ドル !!

住宅ローン残高がモリモリ残っている中それなりの投資額にガクブルしましたが来たるAI時代のビッグウェーブに飲み込まれないようにディープラーニングを学ばないわけにはいきません。(๑•̀д•́๑)キリッ

必要な時間は毎週3〜4時間程度とのことでそれであれば仕事しながらでも十分いけそうです。

講師のSirajさんがYouTubeスターなそうでYouTubeスターの授業というものはどんな授業なのか? 普通の教え方とは何か違うのか? 期待度が高くワクワクしてます。

機械学習系のオンライン講座といえば無料かつそして受講者からの評価も高いCoursera (https://www.coursera.org/learn/machine-learning)という超有名な講座がありますがディープラーニングにフォーカスしたより実践的なカリキュラムを学びたかったので身銭を切ることにしました。 身銭を切ると真剣度が違いますから。。

シラバス

ちなみに、シラバスは以下のようになってます。

  • WEEK 1
    • Types of Machine Learning and when to use Machine Learning
  • WEEK 2
    • Neural Network Architecture and Types
  • WEEK 3
  • WEEK 4
    • Math Notation and Recommender Systems
  • WEEK 5
    • Data preparation (cleaning, regularization, dimensionality reduction)
  • WEEK 6
    • Drone Image Tracking
  • WEEK 7
    • Prediction
  • WEEK 8
    • Art Generation
  • WEEK 9
    • Music Generation (LSTMs applied to Audio)
  • WEEK 10
    • Poetry Generation (LSTMs applied to NLP)
  • WEEK 11
    • Language translation (sequence to sequence)
  • WEEK 12
    • Chatbot QA System with Voice
  • WEEK 13
  • WEEK 14
    • Image Compression
  • WEEK 15
    • Data Visualization
  • WEEK 16
    • Image Generation
  • FINAL WEEK 17
    • One-shot Learning (Probabilistic Programming)

楽しみです。

RNNで競走馬の名前を生成してみる

RNN (Recurrent Neural Network) を使って何かをやってみようと前々から考えてましたがネタが思いつかない・・・

・・・・・・・・・・・・・・・

・・・ ありました! 競走馬の名前を生成してみよう

ということで早速やってみました。

名前を題材にしたワケ

RNNを使った文章生成というのはいろいろ試されています。

が、何となくの文章は作成できますがまともに意味の通った文章は作成できません... >< 。 名前であればそういう問題を回避でき実用的なアプリケーションとしても成立し得るのでは?と考え選択しました。

データの収集

何はともあれ、データの収集です。 競走馬の名前データはNetkeibaさんのサイトからクローラで取得してきました。

クローラのコードはこちら github.com

以下のような感じで賞金順に約5万頭分取得しました。

テイエムオペラオー
ディープインパクト
ゴールドシップ
ブエナビスタ
オルフェーヴル
ジェンティルドンナ
ウオッカ
ヴァーミリアン
ゼンノロブロイ
スペシャルウィーク
タップダンスシチー
メイショウサムソン
ホッコータルマエ
エスポワールシチー
ダイワメジャー
メジロマックイーン
(以下続く)

学習

yusuketomotoさんのコードを一部だけ修正して学習します。

修正した点

  • 単語単位で入力するのではなく文字単位で入力する
  • 名前の最後に終端記号 <eos> を挿入し、これも入力する

学習のコードはこちらです。 github.com

学習時間は手持ちのGPUなしのMacBookProで50分ちょっとでした。 epoch数を始めパラメータはチューニングせずにとりあえずそのまま使いました。

名前の生成

学習した結果を使って生成してみます。

オリジナルのコードから修正している点は

  • <eos>が出力されたら改行コードに置き換えて出力

だけです。

1epoch後の学習データから生成してみると、、

$ python sample.py --vocabulary data/umaname/vocab.bin --model cv/charrnn_epoch_1.20.chainermodel

ドキドキ、、

ポィー
コンモカッゴード
エンボラータンド
コシャンシィード
ジァブナンシュベ
ダイシッハーブゲ
ダイキビビィ
フメボシャタブウス
マエンジィニスアイ
アインチルダントス
スエーショモンダ
ホイナードフロム
スロフミニント
トサトフリクテケリー
(以下、続く)

おぉ、なんとなく馬の名前っぽい (^^)

さらに学習してみます。 50epoch学習した後で以下のように生成されました。

シタ
メジロモスカル
コスモフローラ
アカネホール
タイコウ
フジノフェアリー
メイショウドナバブ
ラウンドストール
ミサフルチャペル
トウショウコラント
トウショウタキフ
イデルスユー
ダークストーリー
トーセンミューター
(以下、続く)

「トウショウ」や「トーセン」といったおなじみの冠名も再現されてます。より馬名っぽくなりました!

成功です。ヾ ( ´ ρ ` ) ノ

デモサイト

こちらにあります。

https://tanakatsuyo-umaname-generator.herokuapp.com/

「Get one」ボタンを押すとコンピュータが生成した名前をランダムで表示します。 仮想の馬名を使いたいけど考えるのが面倒だというシチュエーションで役立つと思います。。

新ももたろう

むかしむかし、あるところに、おじいさんとおばあさんが住んでいました。

のおなじみのフレーズで始まる日本昔ばなし「桃太郎」。

通常ならば「おじいさんは山へ柴刈りに、おばあさんは川へ洗濯へ」となりますが、 最近、4歳になったばかりの息子に「おばあさんは山へ柴刈りに、おじいさんは川へ洗濯へ」と ストーリーを変えてその後のストーリーも即興で作りながらしゃべってあげました。

4歳ともなると、通常の「桃太郎」のストーリーは知っていて通常とのギャップも理解でき、これが意外とうけました。

ちなみに、おじいさんは川へ洗濯へ行って流れてきた桃を拾おうとしたら流されてしまいました.. という展開をしました。。

ストーリーを即興で作るのはなかなか大変ですが子どもにも受けるし、自分にとってもちょっとした頭のトレーニングになります。引き続きやってみようと思います。

家を建てたのでウォークスルーできるバーチャルツアーを作ってみた

この秋、念願のマイホームを建てました。 ビルダーは「やまけん」の愛称で親しまれている山下建設さん。 限られた予算の中、担当者とあれやこれやと知恵を出し合ってこだわりを詰め込むことができたので大変満足しております。

で、せっかく家を建てたので我が家をウォークスルーできるバーチャルツアーを作ってみました。 その方法をご紹介します。

作ったバーチャルツアー

こちらからご覧ください。 https://momonoki.blob.core.windows.net/content/tsujido-vtour/index.html

必要なもの

  • 360°動画
  • krpano: パノラマ静止画からバーチャルツアーを作成するのに使う
  • ffmpeg: 動画を静止画に変換するのに使う
  • ruby: ゴニョゴニョ計算するのに使う

360°動画を撮るには

360°動画を撮るには専用のカメラが必要です。 本格的に撮影するにはGoProなどのアクションカメラを複数台使った大掛かりな装置が必要で、また複数台のカメラの映像を合成する専用ソフトも必要となります。

www.panoplaza.com

今はVRブームを追い風にワンタッチでお手軽に撮影できるカメラもいろいろ出てきています。 私はRICOHさんのTheta Sを前職のカディンチェさんから借りました。。

theta360.com

価格は38,000円前後のようです。 私はコネで借りることができましたが自分で買うとなると少し躊躇しますね。。

使ってみましたが本当に簡単に360°動画を撮ることができて驚きです。 時代の進化を感じます。

撮り方

ヘルメットにミニ三脚をガムテープで固定し、三脚にTheta Sを取り付けしました。 カメラを目線の位置に合わせたかったので目線の高さにレンズがくるように中腰で歩き回りました。 引き渡しの日に撮影をしましたが家族を含めみなさんの視線が痛かったです。。

<機材の写真>

f:id:sanshonoki:20161210141518j:plain:w200

当然ながら端末のボタンを正確に操作できないのでリモコンアプリをGoogle PlayストアAppStoreからインストールしてリモコン経由で録画操作を行いました。

私はガムテープで超手抜きでやってしまいましたがヘッドマウントのやり方はいろいろあるようです。

カニ歩き

映像からカメラの回転を検知するのが困難なのでカメラの向きを一定方向にすべくカニ歩きで撮影します(何とかしたい)。 後ろ向きの移動は危険も伴うので何度か予行練習が必要です。

<イメージ図>

f:id:sanshonoki:20161210064819p:plain:w300

360°動画ファイルへの変換

Theta Sで動画撮影した場合は全天球を左右に並べた映像になっていて(前面と後面の2つのカメラの映像が並んでいるだけ)このままではパノラマ映像として使えませんのでエクレクタンギュラー形式という映像フォーマットに変換する必要があります。 エクレクタンギュラー形式と言うと難しく聞こえますが小学校で習った世界地図のメルカトル図法みたいなイメージです。

Thetaのサイトから専用PCアプリをダウンロードして変換します。 アプリケーションを起動して撮影したmp4ファイルをドラッグ・アンド・ドロップするだけで変換できます。

変換前

f:id:sanshonoki:20161210060242j:plain:w600

変換後

f:id:sanshonoki:20161210060226j:plain:w600

バーチャツアー化ツール

自作のツールでバーチャルツアー化しました。 パノラマ画像の変換エンジンとしてkrpanoを使います。krpanoはライセンスに129€かかりますがフリーでも使うことができ、その場合はwatermarkがつきます。 基本的に自動的にコンテンツ生成まで行いますが歩いたルートを記述した設定ファイルは事前に手で地道に書く必要があります。他にもデフォルトの視点向きなどは手動で設定調整する必要があります。

この辺は改善、省力化していきたいですが今のところこれといった良いアイディアが思い浮かんでいません。。

ツールはGithubにあげていますのでもし興味があれば覗いてみてください。改善、改造歓迎です。

github.com

いろいろこだわった家の各所については振り返りながらおいおい紹介していこうと思います。