読者です 読者をやめる 読者になる 読者になる

chainerで自然言語処理できるかマン

chainerで自然言語処理を勉強していくブログ

chainerを最新バージョンに入れなおす(1.19.0)

だいぶサボっていたら最終更新から半年ぐらい経っていて、chainerのバージョンも1.19(半年前に使っていたのは1.6)とかになってしまっていたので、最新版に入れなおします。 windowsで開発環境を整える - chainerで自然言語処理できるかマン windowsで開発環…

Andor et al., Globally Normalized Transition-Based Neural Networks, 2016メモ

googleのstate-of-the-artな係り受け解析器として公開された「SyntaxNet」の論文を眺めてみたメモ。 SyntaxNetの紹介記事は結構あるのに論文の内容に関する記事があまり見当たらないので有識者の解説待っています。 また、以下について、なにか間違いなどあ…

example\ptbがやっていることを確認

example\ptbが何をやっているかをもう少し見ていきたいと思います。 コードを読む:example\ptbを読む - chainerで自然言語処理できるかマン RNNLM example\ptbでは「RNNLM with LSTM」を学習しています。 RNNLMは正式にはRecurrent Neural Network Language…

ptbで学習したモデルを使って文生成

example\ptbを読む - chainerで自然言語処理できるかマンの学習結果のrnnlm.modelファイルを使って、文生成をしてみます。 準備 下記ファイルを同じディレクトリ内に用意しておきます。 ptb.train.txt ptb.test.txt ptb.valid.txt rnnlm.model net.py コード…

XORの学習

chainerのバージョンを1.6.1へあげてみたので、TutorialをやりながらXORの学習を行うMulti-layer Perceptronを書いてみました。 初期値(L.LinearのWがランダム)に依って局所解に落っこちやすいみたいで、損失が十分に小さくなってくれないことが多いです。。…

Seq2Seqメモ

Sequence-to-Sequence(Seq2Seq)学習は、任意長の入力列から任意長の出力列を出力するような学習のことで、Neural Networkの枠組みで扱う方法が提案されて、いい結果が報告されています。雑なメモ。 入力・出力列の例 (自然)言語処理系 機械翻訳(翻訳元->翻訳…

example\ptbを読む

examples\ptbに用意してあるコード(LSTMを使ったRNN言語モデル with dropoutはrecurrentじゃない部分だけに適用)を読んでいきたいと思います。 一応、1.6.1でもコードの変更は無いみたいですが、結果は1.5.0.2のやつです。 サンプル実行 # GPUで学習実行 $ p…

Zaremba et al., Recurrent Neural Network Regularization, ICLR 2015メモ

examplesにあるRNNLMのコードのベースになっている論文がコメントにあるようなので、読んだメモ。 [1409.2329] Recurrent Neural Network Regularization 概要 LSTMを使ったRNNsの場合、単純なDropoutがうまくいかない また、実用的な応用では、大きなRNNだ…

word2vecの学習が収束しているのかプロットして確認

word2vecのサンプルを実行する際、epoch毎に累積損失(accum_loss)が表示されていましたが、ちゃんと収束しているかがコマンドライン上で見るだけではわかりにくいので、グラフにプロットして確認したいと思います。 が、ちょっとハマったのでメモしておきた…

examples\word2vecを読む

examples\word2vecに用意してあるコードを読んでいきたいと思います。 word2vecとは いろんな意味で使われているような気がしますが、正確には word2vec - Tool for computing continuous distributed representations of words. - Google Project Hosting …

windowsで開発環境を整える(cudnn導入)

cudnnを入れます。 cudnnのインストール Please reinstall chainer after you install cudnn と出ていたので、cudnnを入れたいです。 NVIDIA cuDNN – GPU Accelerated Deep Learning | NVIDIA Developer からダウンロードしたいが、その前に申請が必要らしく…

windowsで開発環境を整える

環境を整えます。 Windows 8.1+VisualStudio Community 2013+CUDA 7.0+Anaconda環境+chainer 1.5.0.2。 chainer-1.5系からいろいろ内部処理が変わったらしいですね。 CUDA環境 ダウンロード | Visual Studio から、Visual Studio Community 2013をダウン…

ブログ

chainerを使って自然言語処理の勉強していってみます。