>>763
これに続く第3の技術革新こそ、1997年にシュミットフーバーが発表した「長短期記憶（LSTM）」だ。
「コード5行で書ける」と、まるで料理のレシピか何かのように彼は言う。

AIの商業的応用を支える技術を開発

だが、LSTMの背後にある理論に話が及ぶと、彼は長々と説明を始めた。まず、結論を手にするまでの道のりをロシアやフィンランドの数学者の研究を引用して解説し、次にLSTMについてもっと具体的な表現を使って説明した。

ニューラルネットワークは無数の計算をひたすら処理するが、LSTMは興味深い発見や相関関係を探すようにプログラミングされている。
また、LSTMはデータ分析に時間的な文脈を与え、以前に出てきたものを思い出させるとともに、それがいかにニューラルネットワークの新しい発見に当てはまるかについて結論を導き出す。

こうした技術的進歩により、AIはさまざまなシステムにおいて結論を構築できるようになった。
例えば大量のテキストに基づき、言葉のニュアンスについて自力で学べるようになったのだ（eachという言葉に動詞が1つつながっていれば、eachは主語だと学び取るといった具合に）。

シュミットフーバーはこの種のAIの訓練を、人間の脳が重大な瞬間を選んで長期記憶に残し、ありふれた出来事は消えるに任せるのになぞらえる。「重要なものは記憶し、重要でないものは無視できるようになった」と彼は言う。

「LSTMは今日の世界におけるさまざまな、本当に重要なことをうまく処理できる。中でもよく知られているのは音声認識と翻訳だが、画像のキャプション生成も得意だ。画像を見て、それを説明する言葉を書き出すんだ」

こうした力ゆえに、LSTMは病気の予知から作曲までさまざまに応用され、 AI分野で最も大きな商業的成果を挙げることができたと言える。
シュミットフーバーのウェブサイトには、これ以外にも数多くの発明について、その敬意と影響が事細やかに記述されている。