ginga_text = Text(w for w in ginga.words())
ginga_text.concordance('川') 

Displaying 25 of 25 matches:
 川 だと 言 《 い 》 われたり 、 乳 《 ちち 》 の 流 《 なが 》 
先生 はまた 言 《 い 》 いました 。
 「 ですからもしもこの 天 の 川 がほんとうに 川 だと 考 えるなら 、 その 一 つ 一 つの 小 さな 
《 い 》 いました 。
 「 ですからもしもこの 天 の 川 がほんとうに 川 だと 考 えるなら 、 その 一 つ 一 つの 小 さな 星 はみんなその 
 だと 考 えるなら 、 その 一 つ 一 つの 小 さな 星 はみんなその 川 のそこの 砂 《 すな 》 や 砂利 《 じゃり 》 の 粒 《 つぶ 》 
 《 ちち 》 の 流 《 なが 》 れと 考 えるなら 、 もっと 天 の 川 とよく 似 《 に 》 ています 。 つまりその 星 はみな 、 乳 《 ち
あぶら 》 の 球 《 たま 》 にもあたるのです 。 そんなら 何 がその 川 の 水 にあたるかと 言 《 い 》 いますと 、 それは 真空 《 しんく
 う 》 かんでいるのです 。 つまりは 私 《 わたし 》 どもも 天 の 川 の 水 のなかに 棲 《 す 》 んでいるわけです 。 そしてその 天 の 
 の 水 のなかに 棲 《 す 》 んでいるわけです 。 そしてその 天 の 川 の 水 のなかから 四方 を 見 ると 、 ちょうど 水 が 深 いほど 青
 ると 、 ちょうど 水 が 深 いほど 青 く 見 えるように 、 天 の 川 の 底 《 そこ 》 の 深 《 ふか 》 く 遠 いところほど 星 がたく
の 凸 《 とつ 》 レンズ を 指 《 さ 》 しました 。
 「 天 の 川 の 形 はちょうどこんななのです 。 このいちいちの 光 るつぶがみんな 私
 。 それはこんやの 星祭 《 ほしまつ 》 りに 青 いあかりをこしらえて 川 へ 流 《 なが 》 す 烏瓜 《 からすうり 》 を 取 《 と 》 りに
くることもあるよ 。 今夜 はみんなで 烏瓜 《 からすうり 》 のあかりを 川 へながしに 行 くんだって 。 きっと 犬 もついて 行 くよ 」
 「 そ
うにゅう 》 をとりながら 見 てくるよ 」
 「 ああ 行 っておいで 。 川 へははいらないでね 」
 「 ああぼく 岸 《 きし 》 から 見 るだけな
っそう 勢 《 いきお 》 いよくそっちへ 歩 いて 行 きました 。
 「 川 へ 行 くの 」 ジョバンニ が 言 《 い 》 おうとして 、 少 しのど
を 越 《 こ 》 えると 、 にわかにがらんと 空 がひらけて 、 天 の 川 がしらしらと 南 から 北 へ 亙 《 わた 》 っているのが 見 え 、 
ば 》 だから 。 ぼく 、 白鳥 を 見 るなら 、 ほんとうにすきだ 。 川 の 遠 くを 飛 《 と 》 んでいたって 、 ぼくはきっと 見 える 」

 ていました 。 まったく 、 その 中 に 、 白 くあらわされた 天 の 川 の 左 の 岸 《 きし 》 に 沿 《 そ 》 って 一 ｜ 条 《 じょ
 一生 けん 命 《 めい 》 延 《 の 》 びあがって 、 その 天 の 川 の 水 を 、 見 きわめようとしましたが 、 はじめはどうしてもそれが 、
 、 ぼくなんべんもどこかできいた 」
 「 ぼくだって 、 林 の 中 や 川 で 、 何 べんも 聞 いた 」
 　 ごとごとごとごと 、 その 小 さな
きれいな 汽車 は 、 そらのすすきの 風 にひるがえる 中 を 、 天 の 川 の 水 や 、 三角点 《 さんかくてん 》 の 青 じろい 微光 《 びこ
ねび 》 のように 思 われました 。
 　 それもほんのちょっとの 間 、 川 と 汽車 との 間 は 、 すすきの 列 《 れつ 》 でさえぎられ 、 白
、 まるで 運動場 《 うんどうじょう 》 のように 平 《 たい 》 らに 川 に 沿 《 そ 》 って 出 ているのでした 。 そこに 小 さな 五 、 
 》 でね 、 この 下 からは 貝 《 かい 》 がらも 出 る 。 いま 川 の 流 れているとこに 、 そっくり 塩水 《 しおみず 》 が 寄 《 よ
うすを 見 ていました 。 汽車 はもうだんだん 早 くなって 、 すすきと 川 と 、 かわるがわる 窓 《 まど 》 の 外 から 光 りました 。
 　
な 、 雑作 《 ぞうさ 》 ない 。 さぎというものは 、 みんな 天 の 川 の 砂 《 すな 》 が 凝 《 かたま 》 って 、 ぼおっとできるもんで

path = "./corpora/kokoro.txt"
bindata = open(path, "rb").read()
raw = bindata.decode("utf-8")
i
mport MeCab

tagger = MeCab.Tagger('-Owakati')
tagger.parse("")

text = tagger.parse(raw)

from nltk.text import Text

souseki = Text(text)
print ("concordance of '私'---")
souseki.concordance('私') 

concordance of '私'---
Displaying 25 of 25 matches:
 私   《   わ た く し   》   は   そ の   人   を  
 と   い う   よ り   も   、   そ の   方   が   私   に と っ て   自 然   だ   か ら   で   あ る  
 と っ て   自 然   だ   か ら   で   あ る   。   私   は   そ の   人   の   記 憶   を   呼 び   起
 も   使 う   気   に   な ら   な い   。   　   私   が   先 生   と   知 り 合 い   に   な っ   た
 か ま く ら   》   で   あ る   。   そ の   時   私   は   ま だ   若 々 し い   書 生   で   あ っ  
 が き   》   を   受 け 取 っ   た   の で   、   私   は   多 少   の   金   を   工 面   《   く め
 て   、   出 掛 け る   事   に   し   た   。   私   は   金   の   工 面   に   二   《   に   》
 ち   》   を   費 や し   た   。   と こ ろ が   私   が   鎌 倉   に   着 い   て   三   日   と  
   《   た   》   た   な い   う ち   に   、   私   を   呼 び 寄 せ   た   友 達   は   、   急  
   の   で   あ る   。   彼   は   電 報   を   私   に   見 せ   て   ど う   し よ   う   と   相
   し よ   う   と   相 談   を   し   た   。   私   に   は   ど う し て   い い   か   分 ら   な
   に   な っ   た   。   せ っ か く   来   た   私   は   一   人   取 り 残 さ   れ   た   。   　
   も   よ い   と い う   境 遇   に   い   た   私   は   、   当 分   元   の   宿   に   留   《
 年   な   の で   、   生 活   の   程 度   は   私   と   そ う   変 り   も   し   な か っ   た  
   ひ と り   》   ぼ っ   ち   に   な っ   た   私   は   別 に   恰 好   《   か っ こ う   》   な
   地 位   を   占 め   て   い   た   。   　   私   は   毎 日   海   へ   は い り   に   出 掛 け
   た   人   を   一   人   も   も た   な い   私   も   、   こ う い う   賑   《   に ぎ   》  
   の   は   愉 快   で   あ っ   た   。   　   私   は   実 に   先 生   を   こ の   雑 沓   《  
   ゃ や   》   が   二   軒   あ っ   た   。   私   は   ふ と し た   機 会   《   は ず み   》  
   あ る   。   海 水   着   を   持 た   な い   私   に   も   持 物   を   盗 ま   れ る   恐 れ  
   れ る   恐 れ   は   あ っ   た   の で   、   私   は   海   へ   は   い る   た び   に   そ の
 ＃ 「   二   」   は   中   見 出 し   ］   　   私   《   わ た く し   》   が   そ の   掛 茶 屋  
   と   す る   と こ ろ   で   あ っ   た   。   私   は   そ の   時   反 対   に   濡   《   ぬ  
   特 別   の   事 情   の   な い   限 り   、   私   は   つ い に   先 生   を   見 逃 し   た   か
 ど   浜 辺   が   混 雑   し   、   そ れ ほ ど   私   の   頭   が   放 漫   《   ほ う   ま   ん  

　「私」という単語が使用されている箇所が25であることがわかります。このようにして、MeCab を用いて、日本語の平文コーパスのトークン化を行なった後に、NLTKを用いて様々な言語処理が可能になります。

"fawn": 34701,
 "tsukino": 52006,
  "nunnery": 52007,
  "sonja": 16816,
  "vani": 63951,
  "woods": 1408,
 

import numpy as np
from tensorflow import keras
import tensorflow as tf

(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

print("Training entries: {}, labels: {}".format(len(train_data), len(train_labels)))
print("Training entries: {}, labels: {}".format(len(train_data), len(train_labels)))

Training entries: 25000, labels: 25000
Training entries: 25000, labels: 25000

# A dictionary mapping words to an integer index
word_index = imdb.get_word_index()

# The first indices are reserved
word_index = {k:(v+3) for k,v in word_index.items()} 
word_index[""] = 0
word_index[""] = 1
word_index[""] = 2  # unknown
word_index[""] = 3

reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])

def decode_review(text):
    return ' '.join([reverse_word_index.get(i, '?') for i in text])
	
decode_review(train_data[0])

train_data = keras.preprocessing.sequence.pad_sequences(train_data,
                                                        value=word_index[""],
                                                        padding='post',
                                                        maxlen=256)

test_data = keras.preprocessing.sequence.pad_sequences(test_data,
                                                       value=word_index[""],
                                                       padding='post',
                                                       maxlen=256)

len(train_data[0]), len(train_data[1])
print(train_data[0])

# input shape is the vocabulary count used for the movie reviews (10,000 words)
vocab_size = 10000

model = keras.Sequential()
model.add(keras.layers.Embedding(vocab_size, 16))
model.add(keras.layers.GlobalAveragePooling1D())
model.add(keras.layers.Dense(16, activation=tf.nn.relu))
model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))

model.summary()

model.compile(optimizer=tf.train.AdamOptimizer(),
              loss='binary_crossentropy',
              metrics=['accuracy'])

x_val = train_data[:10000]
partial_x_train = train_data[10000:]

y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]

history = model.fit(partial_x_train,
                    partial_y_train,
                    epochs=40,
                    batch_size=512,
                    validation_data=(x_val, y_val),
                    verbose=1)
					
results = model.evaluate(test_data, test_labels)

print(results)

from __future__ import print_function

from keras.preprocessing import sequence
from keras.models import Sequential
from keras.layers import Dense, Embedding
from keras.layers import LSTM
from keras.datasets import imdb

max_features = 20000
# cut texts after this number of words (among top max_features most common words)
maxlen = 80
batch_size = 32

print('Loading data...')
(x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features)
print(len(x_train), 'train sequences')
print(len(x_test), 'test sequences')

print('Pad sequences (samples x time)')
x_train = sequence.pad_sequences(x_train, maxlen=maxlen)
x_test = sequence.pad_sequences(x_test, maxlen=maxlen)
print('x_train shape:', x_train.shape)
print('x_test shape:', x_test.shape)

print('Build model...')
model = Sequential()
model.add(Embedding(max_features, 128))
model.add(LSTM(128, dropout=0.2, recurrent_dropout=0.2))
model.add(Dense(1, activation='sigmoid'))

# try using different optimizers and different optimizer configs
model.compile(loss='binary_crossentropy',
              optimizer='adam',
              metrics=['accuracy'])

print('Train...')
model.fit(x_train, y_train,
          batch_size=batch_size,
          epochs=15,
          validation_data=(x_test, y_test))
score, acc = model.evaluate(x_test, y_test,
                            batch_size=batch_size)
print('Test score:', score)
print('Test accuracy:', acc)

　エポックごとの結果が表示されます。このシンプルなLSTMネットワークでも学習するためにはそれなりの時間がかかります。15回のエポック学習に10分以上が必要です。学習の精度がtrainデータでは、1に近くなっているのに対し、validationデータでは0.80ほどで差があり過学習を示しています。単純にCNNを用いた方が優れた成績になっています。LSTMを含めたネットワーク・モデルでIMBDの分析をしているexamplesは、このgithubで提供されています。

このページの先頭に戻る

トップ・ページに行く