examplesにあるRNNLMのコードのベースになっている論文がコメントにあるようなので、読んだメモ。 [1409.2329] Recurrent Neural Network Regularization 概要 LSTMを使ったRNNsの場合、単純なDropoutがうまくいかない また、実用的な応用では、大きなRNNだ…

word2vecのサンプルを実行する際、epoch毎に累積損失(accum_loss)が表示されていましたが、ちゃんと収束しているかがコマンドライン上で見るだけではわかりにくいので、グラフにプロットして確認したいと思います。 が、ちょっとハマったのでメモしておきた…

examples\word2vecに用意してあるコードを読んでいきたいと思います。 word2vecとは いろんな意味で使われているような気がしますが、正確には word2vec - Tool for computing continuous distributed representations of words. - Google Project Hosting …

cudnnを入れます。 cudnnのインストール Please reinstall chainer after you install cudnn と出ていたので、cudnnを入れたいです。 NVIDIA cuDNN – GPU Accelerated Deep Learning | NVIDIA Developer からダウンロードしたいが、その前に申請が必要らしく…

環境を整えます。 Windows 8.1＋VisualStudio Community 2013＋CUDA 7.0＋Anaconda環境＋chainer 1.5.0.2。 chainer-1.5系からいろいろ内部処理が変わったらしいですね。 CUDA環境 ダウンロード | Visual Studio から、Visual Studio Community 2013をダウン…

chainerを使って自然言語処理の勉強していってみます。