データサイエンス入門　第８回　LSTMで小説を執筆しよう　その１ LSTMとはなんでしょう

AIプログラミングで学ぶデータサイエンス

人工知能AIが世間に広く受け入れられて、活用する時代が訪れています。
文章生成ではChatGPTやGeminiが一般的な書類から、プログラミングまで幅広く活躍しています。画像生成ではＧｏｏｇｌｅ imageFxやＤＡＬＬが人間が描いたのでは？と思わせるほどのイラストを生成します。そして動画もＧｏｏｇｌｅ　ＶｉｄｅｏＦＸやＩｍａｇｅFXなどびっくりするほど完成度が高い作品をＡＩが生成できるようになってきました。

そんな素晴らしい人工知能AIですが、どのような原理で構築され、実現するためになされているプログラミングがどうなっているのかの説明はあまり見かけません。

使うためだけなら原理を知らなくてももちろん構わないのです。エンジンやモータの仕組みを知らなくても自動車を運転することができるのと同じです。しかし、人工知能AIについてもっと知りたい、さらに発展させたいと思う方はＡＩが動作する原理原則やプログラミングを知ればより興味が深まると思います。

・LSTMによる小説執筆の試み

さて、本連載ではLSTMを利用して、小説執筆を試みます。小説執筆を大げさだと感じるのであれば、文章生成としておいてください。
　以前にMeCabを使って文章を形態素解析、分かち書きし、得られた単語からマルコフ連鎖を利用して、新たな文章を生成することを試しました。この方法を使うことでAIを使わずともある程度の文章を生成することができて、驚いたことと思います。ただ、マルコフ連鎖を利用する方法は、実は種となる文書を組み替えて出力しているために、新しい文章を生成した印象は受けません。これは小説執筆についてのマルコフ連鎖利用の限界と思います。
　そこで、ここではLSTMを採用して、小説執筆を試みます。

・LSTMの概要

ニューラルネットワークをプログラミングによりコンピュータ内に再現したものが人工知能ＡＩです。プログラミングは今はPython言語が使われることが多いです。ニューラルネットワークの中でも再帰的構造＝フィードバックを持ち、時系列データを扱えるようしたものをRNNリカレントニューラルネットワークといいます。動的データを扱えるのが特徴です。このRNNを改良して長期的依存関係を扱えるようにしたものがLSTMです。
LSTM　Long Short-Term Memory　はニューラルネットワークの仲間です。1997年にシープ・ホシュレイタとジューゲン・シュミヅバーにより提案されました。どのような処理に適しているかというと、自然言語処理、時系列データ分析、音声映像処理、予測処理などがあります。
LSTMの利点としては長期的な依存関係、時系列・シーケンスデータ、勾配消失問題の解決などがあります。欠点には高い計算コスト、長時間必要な学習、簡単な内容の場合の効率の悪さ、などがあげられます。

・LSTMを文書生成に利用する

文章はただ単語が羅列しているだけでなく、前後の単語と密接な関係を保ちながら存在します。これを文脈と言います。LSTMはこの文脈を学習することができます。LSTMのLはLong、SはShortを意味します。Shortは文章内の近い部分、Longは離れた部分のことです。この２つの特徴を利用して文章を生成します。

LSTMを小説執筆に利用すれば、文章の文脈や依存関係を考慮することで、人間が執筆したものに近い結果を得ることが期待できます。

https://youtu.be/mgYhVbQra6A

https://drive.google.com/file/d/1vSK5M2GFoj6lPzViLNWs8KS-wrFHqQgL/view?usp=drive_link

・今回サンプルプログラムはありません。

公開している動画と解説用pdfは電波新聞社刊行電子工作マガジンに連載された同題名の内容をGoogle NotebookLMにてまとめています