Keras Loss Behavior with Language Model

TensorFlow Deep Learning 自然言語処理機械学習 RNN

KerasのModelクラスを使用した際のロスの計算は、Paddingで追加した余計な値を勾配の計算から除外する処理は自動でやってくれるのですが、 historyに記録されるlossの平均値を求める際に、maskを部分的にしか考慮しておらず、padding数が多くなればなるほど…

2019-12-24

VariationalでEnd2EndなDialogue Response Generationの世界

機械学習生成モデル自然言語処理 Deep Learning 対話システム

この記事は、自然言語処理 #2 Advent Calendar 2019の24日目の記事です。 Open-Domain Dialogueや非タスク指向対話、雑談対話と呼ばれる領域において、発話データのみを使用したEnd2Endな対話応答生成を試みる歴史はそこまで古くなく、[Ritter et al+ 11]や[…

2019-12-02

End2Endな対話システムの評価指標

Deep Learning 機械学習自然言語処理

この記事は、Qiita 自然言語処理アドベントカレンダーの2日目です。 1日目は jojonki さんによるゼロから作った形態素解析器Taiyakiで学ぶ形態素解析でした。この記事では、End2Endな対話システムの評価指標、特に応答文生成の自動評価指標に注目して、どの…

2019-05-26

ニューラルネットワークを使用した対話システム（２）〜機械読解質問応答システム〜

Deep Learning 機械学習自然言語処理人工知能

本記事は、「Neural Approaches to Conversational AI*1」を元に、ニューラルネットワークを使用した対話システムについて解説する記事の二回目です。前回の記事では、対話システムの概要とKnowledge Base質問応答システムについて説明しました。 ksksksks2…

2019-03-29

ニューラルネットワークを使用した対話システム（１）〜Knowledge Base質問応答システム〜

人工知能自然言語処理機械学習 Deep Learning

対話システムは、QAチャットや音声アシスタントなど、様々なところで使用されており、また、GoogleのDialogflowを始め多くの独自対話システムを構築できるプラットフォームが数年前から続々と登場してきています。しかし、これらの公開されているシステム…

2017-01-22

CNNを利用した自然言語処理技術まとめ（2017年1月）

CNN 機械学習自然言語処理 Deep Learning 論文

年末に Language Modeling with Gated Convolutional Networks が一部界隈でバズったこともあり、CNNを用いた自然言語処理が注目を集め始めています。今年の後半あたりには、派生手法や関連手法が多く登場していくのではないかと思われます。 CNNはRNNに比べ…

2016-12-20

テキスト生成モデル -SeqGAN-

Deep Learning 機械学習自然言語処理 TensorFlow

この記事は、DeepLearning Advent Calendar 2016の20日目です。今回は、時系列データに GAN の手法を適用した SeqGAN をご紹介したいと思います。SeqGAN は分かりやすく時系列データに GAN を適用しているためアルゴリズムが理解しやすく、公式の TensorFlo…

2016-11-13

RNN より高速な Feedforward Sequential Memory Networks (FSMN) を TensorFlow で実装してみた

RNN Deep Learning 機械学習自然言語処理

LSTM や GRU など RNN の一般的なアーキテクチャの弱点としては、DNN や CNN に比べた場合に処理の遅さがあげられます。それは、アーキテクチャからは自明で、LSTM や GRU のような系列の記憶としての隠れ変数を使用する層の場合、あるステップの計算を行う…

2016-08-07

TensorFlow の ptb サンプルを動かす

自然言語処理機械学習 Deep Learning RNN TensorFlow

TensorFlow で ptb を学習させるサンプルは Recurrent Neural Networks チュートリアルに記載されている通り、 github からソースを落としてきて、tensorflow/models/rnn/ptb に移動し、ptb_word_lm.py を動かすだけで簡単に動作させることができます。ただ…

2016-06-25

GoogleのAIはどうやって「詩」を生成するのか

RNN 機械学習 Deep Learning 生成モデル論文自然言語処理ベイズ統計

一ヶ月ほど前ですが、Googleの人工知能が「詩」を創りだしたという話が話題になりました。 wired.jp この話の元ネタは、[1511.06349] Generating Sentences from a Continuous Spaceで発表されている論文になります。この論文では、ベイズとDeep Learningを…

2016-05-15

word2vec の結果を利用して RNN で文章を生成してみる（2）

Chainer RNN 自然言語処理機械学習

word2vec の出力結果を元に文章を作ってみるコーナーの第二弾です。今回はエンコーダー・デコーダーモデルを使用して word2vec の出力から文章を生成できないかを試してみました。使用したモデルは以前の記事で紹介した Skip-Thought Vectors です。 ksksk…

2016-04-30

Deep Learning で使われてる attention ってやつを調べてみた

RNN 機械学習自然言語処理 Deep Learning 論文

先週 Skip-Thought Vectors について調べてみたわけですが、その中でよく何を言っているのかよく分かっていなかった、 attention mechanism について調べてみました。調べるにあたって、最近のDeep Learning (NLP) 界隈におけるAttention事情が大変参考に…