Keras Loss Behavior with Language Model

TensorFlow Deep Learning 自然言語処理機械学習 RNN

KerasのModelクラスを使用した際のロスの計算は、Paddingで追加した余計な値を勾配の計算から除外する処理は自動でやってくれるのですが、 historyに記録されるlossの平均値を求める際に、maskを部分的にしか考慮しておらず、padding数が多くなればなるほど…

2016-11-13

RNN より高速な Feedforward Sequential Memory Networks (FSMN) を TensorFlow で実装してみた

RNN Deep Learning 機械学習自然言語処理

LSTM や GRU など RNN の一般的なアーキテクチャの弱点としては、DNN や CNN に比べた場合に処理の遅さがあげられます。それは、アーキテクチャからは自明で、LSTM や GRU のような系列の記憶としての隠れ変数を使用する層の場合、あるステップの計算を行う…

2016-08-07

TensorFlow の ptb サンプルを動かす

自然言語処理機械学習 Deep Learning RNN TensorFlow

TensorFlow で ptb を学習させるサンプルは Recurrent Neural Networks チュートリアルに記載されている通り、 github からソースを落としてきて、tensorflow/models/rnn/ptb に移動し、ptb_word_lm.py を動かすだけで簡単に動作させることができます。ただ…

2016-06-25

GoogleのAIはどうやって「詩」を生成するのか

RNN 機械学習 Deep Learning 生成モデル論文自然言語処理ベイズ統計

一ヶ月ほど前ですが、Googleの人工知能が「詩」を創りだしたという話が話題になりました。 wired.jp この話の元ネタは、[1511.06349] Generating Sentences from a Continuous Spaceで発表されている論文になります。この論文では、ベイズとDeep Learningを…

2016-05-15

word2vec の結果を利用して RNN で文章を生成してみる（2）

Chainer RNN 自然言語処理機械学習

word2vec の出力結果を元に文章を作ってみるコーナーの第二弾です。今回はエンコーダー・デコーダーモデルを使用して word2vec の出力から文章を生成できないかを試してみました。使用したモデルは以前の記事で紹介した Skip-Thought Vectors です。 ksksk…

2016-04-30

Deep Learning で使われてる attention ってやつを調べてみた

RNN 機械学習自然言語処理 Deep Learning 論文

先週 Skip-Thought Vectors について調べてみたわけですが、その中でよく何を言っているのかよく分かっていなかった、 attention mechanism について調べてみました。調べるにあたって、最近のDeep Learning (NLP) 界隈におけるAttention事情が大変参考に…