LSTMを用いた時系列データの予測



 自然言語データや時系列データは入力変数の中に系列依存関係の複雑さをもつので、このような系列依存データを用いた推論や予測問題は機械学習問題の中でも困難なもので、画像識別や物体検出問題よりも一段と複雑な課題になります。

 系列連鎖を持つデータの予測においては、各入力信号が独立した入力ではなく、ある種の関係性をもつ一連の入力データとして取り扱い、これらの入力信号に対応した一連の出力データとして出力することが必要となります。単純なニューラルネットワークでは、出力は最後の層からのみ発生するため、一連の入力に対して一連の出力を生成することはできません。部分的ネットワークの出力を別のネットワークの入力として利用するような再帰的構造を持ったモデルは Recurisive Neural Network と呼ばレます。このネットワークモデルでは、ある層の出力は、次の層の入力として利用されるだけでなく、その後の複数の層の入力データとしても利用されます。

 このような Recursive Neural Network の一つのバージョンにRNN(Recurrent Neural Network)と呼ばれるモデルがあります。さらに、RNN(Recurrent Neural Network)の拡張バージョンに、LSTM(Long short-term memory)と呼ばれるモデルがあります。RNN および LSTM ネットワークの説明については、このページを参照してください。

 このページでは、Keras及びPytorchのライブラリを用いて、 RNN及びLSTM ネットワークをどのように実装できるかを説明します。最初の例として経済データの時系列を取り上げまが、他の時系列データ、例えば、気温変動のデータや旅客数データなどにも応用可能です。Keras のインストールについては、Keras のインストールを参照ください。

 機械学習の多くのフレームワークはPython及びC++で記述されています。ニューラルネットワークの基本的構造とその実装を理解するための言語としてはPythonが理解できれば十分でしょう。そういう意味では、この領域において必須のプログラミング言語はPythonです。Anacondaのような一括インストーラーを用いてPython3がセットアップ済みであることを前提とします。LinuxやC言語の知識は想定していません。このページではCPUを搭載した普通のPCを使用することを前提にしています。OSはLinuxでも、MacOSでもWindowsでも、Python環境がインストールされていれば十分です。

関連記事
人工知能の入門編
畳み込みネットワーク:CNN と DNN の基礎
RNN の特徴と構造
Scikit-Learnを用いたCNNの実装
Keras + TensorFlow のインストール
TensorFlow を用いた物体検出
Pytorch を用いた物体検出
Pytorch及びKerasで自然言語処理
PythonのTutorials/Jupyter Notebook
GitHub repositories

Last updated: 2019.4.26


 時系列データの代表例として想定できるものは、電波、音声波形、株価指数、為替レート、気温変化などです。通念では時系列データとして想定されないものとして、文章(単語列)などがあります。電波の波形なら一定の時間間隔でのサンプル値になりますし、文章なら単語を前から並べたときの番号になります。文章生成ならば、今までの単語列を入力として、もっともらしい次の単語を予測することが課題となります。正しい文章(the monkey ate the apple)を繰り返しLSTMに覚えさせる(重みベクトルを更新する)ことで、"monkey"の後に"ate"が来るようなルールを学習することができます。音素・音声認識の場合、今までの音声波形(orその特徴量)を入力として、その時点で発話されている音素を予測することが課題になります。

****************************************************************
時系列データの予測問題:株価指数の例
****************************************************************


 ファイナンス理論はブラック=ショールズ方程式を基礎としているが、この確率微分方程式は株価がランダムに変動する(幾何ブラウン運動)という前提で成り立っている。正確に株価の変動を予測することはほぼ不可能に近い。株価の急激な変動は、株式市場の外での多くの経済的政治的要因に多くを依存しており、人々のデマやカオス的感情に作用されてもいる。

 deep learningの手法を活用すれば、翌日の日経平均終値騰落予測はある程度の確率で予測できる。予測に必要な過去の株価データはネット上に公開されており、誰でも容易に入手できる。株価の時系列データは高々数千件程度しかないため、学習もすぐ終わるので、パラメーターをいろいろ変えてその影響を見るということは、容易にできる。 こうして、株価予測というテーマは、誰にでも簡単にできて、deep learningを利用した時系列予測問題に有益なテーマと言える。

 とはいえ、このページで行う予測は、あくまでも、練習問題であって、現実で株投資のために使用するためのものではありません。株での資金運用はファイナンス理論が教える通り、的確なポートフォリオを組んで行ってください。

 株価のデータはyahoo finaceあるいは日経平均株価(N225)からダウンロードします。 [Time Period]欄で「Max」などを指定して[Apply]し、[Download Data]リンクをクリックすればダウンロードできます。
 ダウンロードしたファイルをExcelなどの表計算ソフトで開いてみると、取引の無い日付の行にnullが入っているので、そのような行を削除します。次に、株価データ(取りあえず[Close]列の値)の自然対数(ln)を取ります。日付の列と対数値の列の2列をコピーして、新しいcsvファイルを作成します。ファイル名をnikkei_data.csv とします。

 作成したcsvファイルをpandasモジュールを使って読み込みます。Jupyter notebookを開いて、以下のコードをコピペしてください。ここでは、1年分のデータを使用しています。このコードの保存されたディレクトリにnikkei_data.csvファイルを置いてください。 データをロードするときに最初の行は除外できます。ダウンロードしたデータセットはフッタ情報も持ちますが、これも pandas.read_csv() への skipfooter 引数を (3 フッタ行のための) 3 に設定することで除外可能です。データセットは Pandas dataframe としてロードします。そして dataframe から NumPy 配列を取り出して整数値を浮動小数点値に変換します。(このデータではこの部分は必要ありませんが。)以下のコードは、このサイトで提供されたコードに多くを負っています。

import pandas
import matplotlib.pyplot as plt
dataframe = pandas.read_csv('nikkei_data.csv', usecols=[1], engine='python', skipfooter=3)
dataset = dataframe.values
dataset = dataset.astype('float32')
plt.plot(dataset)
plt.show()


このコードを実行すると、日経平均株価の時系列データがプロットされます。次に、ネットワークを構成します。データの数値を[0,1]の範囲に正規化します。以下のコードは、このサイトを参考にしています。

import numpy as np
import matplotlib.pyplot as plt
import math
from keras.models import Sequential
from keras.layers import Dense, LSTM
from sklearn.preprocessing import MinMaxScaler
from sklearn.metrics import mean_squared_error

# fix random seed for reproducibility
np.random.seed(7)

# normalize the dataset
scaler = MinMaxScaler(feature_range=(0, 1))
dataset = scaler.fit_transform(dataset)

# split into train and test sets
train_size = int(len(dataset) * 0.7)
test_size = len(dataset) - train_size
train, test = dataset[0:train_size,:], dataset[train_size:len(dataset),:]
print(len(train), len(test))


トレーニングデータとテスト用データに分割された個数が表示されます。新しいデータセットを作成する関数を定義します。この関数は 2 つの引数を取ります。 dataset=新しいデータセットに変換することを望む NumPy 配列 、 maxlen=次の時間区間を予測するために入力変数として使用する前の時間ステップの数、通常、sequence_lengthなどと表記されることもあります。次のタイムステップの予測をするために複数の、直近のタイムステップを使用できるようにプログラムを修正することもできます。例えば、現在の時間 (t) が与えられてシークエンスの次の時間 (t+1) における値を予測したい場合、入力変数として現在時間 (t)以前のデータ、そして 2 つの前の時間 (t-1) と (t-2)以前のデータ を使用することができます。maxlen=3とすると、X が与えられた時間 (t, t-1, t-2) における株価、Y が時間 (t + 1) における株価であるようなデータセットを作成します 。入力変数は時刻 t-2, t-1, t の3次元のsequence数x3行列で、出力変数は t+1 での値(1次元スカラー)です。

# convert an array of values into a dataset matrix
def create_dataset(dataset, maxlen:
    dataX, dataY = [], []
    for i in range(len(dataset)-maxlen-1):
        a = dataset[i:(i+maxlen), 0]
        dataX.append(a)
        dataY.append(dataset[i + maxlen, 0])
    return np.array(dataX), np.array(dataY)

# reshape into X=t and Y=t+maxlen
maxlen = 3
trainX, trainY = create_dataset(train, maxlen)
testX, testY = create_dataset(test, maxlen)

print (trainX[:10,:])
print (trainY[:10])

# reshape input to be [samples, time steps, features]
trainX = np.reshape(trainX, (trainX.shape[0], 1, trainX.shape[1]))
testX = np.reshape(testX, (testX.shape[0], 1, testX.shape[1]))
print(trainX[:10,:])


データtrainX[:10,:]の例が表示されます。この問題に対する LSTM ネットワークを構成して、 fit する準備ができました。ネットワークは 1 入力を持つ可視層、4つの LSTM ブロックを持つ隠れ層LSTM(4, input_shape=(1, maxlen))、そして単一の値予測を行なう出力層Dense(1)を持ちます。デフォルトの sigmoid 活性化関数が LSTM ブロックのために使用されます。ネットワークは 100 エポック訓練されてサイズ 1 のバッチが使用されます

# create and fit the LSTM network
model = Sequential()
model.add(LSTM(4, input_shape=(1, maxlen)))
model.add(Dense(1))
model.compile(loss='mean_squared_error', optimizer='adam')
model.fit(trainX, trainY, epochs=100, batch_size=1, verbose=2)


このコードを実行すると、エポックごとの結果が表示されます。

 学習したモデルを用いて、予測を行います。予測されたデータを元の配列形式に戻してからinverse_transform()、誤差の計算を行います。


# make predictions
trainPredict = model.predict(trainX)
testPredict = model.predict(testX)
# invert predictions
trainPredict = scaler.inverse_transform(trainPredict)
trainY = scaler.inverse_transform([trainY])
testPredict = scaler.inverse_transform(testPredict)
testY = scaler.inverse_transform([testY])
# calculate RMSE( root mean squared error) 
trainScore = math.sqrt(mean_squared_error(trainY[0], trainPredict[:,0]))
print('Train Score: %.2f RMSE' % (trainScore))
testScore = math.sqrt(mean_squared_error(testY[0], testPredict[:,0]))
print('Test Score: %.2f RMSE' % (testScore))

# shift train predictions for plotting
trainPredictPlot = np.empty_like(dataset)
trainPredictPlot[:, :] = np.nan
trainPredictPlot[maxlen:len(trainPredict)+maxlen, :] = trainPredict
# shift test predictions for plotting
testPredictPlot = np.empty_like(dataset)
testPredictPlot[:, :] = np.nan
testPredictPlot[len(trainPredict)+(maxlen*2)+1:len(dataset)-1, :] = testPredict
# plot baseline and predictions
plt.plot(scaler.inverse_transform(dataset), color ="g", label = "row")
plt.plot(trainPredictPlot,color="b", label="trainpredict")
plt.plot(testPredictPlot,color="m", label="testpredict")

plt.legend()
plt.show()

以下の様なグラフが得られます。
nikkei.png
この結果を見ると、予測値はデータ値に時間的に若干遅れています。予測は現実の後追いをしている感じです。create_dataset() 関数における maxlen 引数を 3 から 任意の数値、例えば、20 に増やすことで予測を修正できます。LSTMレイヤーの隠れ層のニューロン数を増加させることで、例えば、20に変化させることで、予測の修正をすることもできます。

 

____ 準備中 ____

トップ・ページに戻る