2) 以前の入力の文脈に基づいて、入力の表現を作成する リージョンで行われる次の機能は、入力をカラムで表現したものを、 過去からの状態ないし文脈を含む新しい表現に変換 ry 。新しい表現は各カラムの一部のセル、普通は1カラムにつき1つのセルを アクティブにすることで得られる(図 2-2)。
「I ate a pear」と「I have eight pears」31の二つの話し言葉を聞く場合 ry 「ate」と「eight」は ry 発音が同じ ry 同じ反応をするニューロンが脳内のどこか ry また一方、 ry 異なる文脈にあると反応するニューロンが脳内の他のどこか ry 。「ate」という音に対する表現は「I ate」 ry 「I have eight」 ry 異なる ry 。 「I ate a pear」と「I have eight pears」の二つの文を記憶したと想像してみよう。 「I ate…」 ry 「I have eight…」 ry 異なる予測 ry よって ry 異なる内部表現 ry
ある入力を異なる文脈では異なるコード変換をするというこの原理は、 認知とふるまいの普遍的な特徴であり、HTM リージョンの最も重要な機能の一つ ry 06176162017/01/03(火) 03:06:42.48ID:igW+0jZp ry カラムは複数のセルからなっている。 同じカラムのすべてのセルは同じフィード・フォワード入力を受け取る。 ry 。アクティブな各カラムごとに、どのセルをアクティブ ry 選択するかによって、 完全に同じ入力に対して異なる文脈では異なる表現をすることができる。 例 ry 。各カラムは 4 つのセルからなり、各入力は 100 個のアクティブなカラムで表現 ry 。カラムの中で一つのセルだけが一度にアクティブであるとすると、 完全に同じ入力に対して 4100 通り ry 。同じ入力は常に同じ組み合わせの 100 個のカラムがアクティブになるが、 文脈が異なればカラム中の異なるセルがアク ry 非常に大きな数の文脈を表現 ry 、これらの異なる表現はどのくらいユニーク ry ? 4100 個の可能なパターンのうちからランダムに選択した 2 個は、 ほとんどの場合、約 25 個のセルが重複 ry よって同じ入力を異なる文脈で表した 2 つの表現は、 約 25 個のセルが共通で 75 個のセルが異なっており、容易に区別 ry
HTM リージョンの一般的な規則 ry カラムがアクティブ ry 、そのカラム中のすべてのセルを見る。 もしそのカラム中の一つ又はそれ以上のセルが既に予測状態であれば、 それらのセルだけがアクティブになる。もしそのカラム
中のすべてのセルが予測状態でないならば、すべてのセルがアクティブになる。 ry :ある入力パターンが期待されるなら、システムは予測状態のセルだけをアクティブ にすることで期待通りであることを確認する。その入力パターンが期待と違うなら、 システムはカラム中のすべてのセルをアクティブにすることで、 「予期しない入力が発生したのであらゆる解釈が有りうる」ということを表す。
もし以前の状態が何もないなら、従って文脈も予測もないなら、 ry になるときは各カラム内のすべてのセルがアクティブになる。 ry 歌の最初の音を聞いたときと似ている。 文脈がなければ、 ry 予測できない:すべての選択肢が有効である。 以前の状態があるが入力が予期したものと合致しないときは、 アクティブなカラムのすべてのセルがアクティブ ry 。この決定はカラムごとに 行われるので、予測 ry は「オール・オア・ナッシング」32ではない。
図 2-2 カラムの一部のセルをアクティブにすることで、 HTM リージョンは同じ入力の多くの異なる文脈を表現 ry 。カラムは予測状態のセルだけをアクティブにする。 予測状態のセルがないカラムでは、カラム中のすべてのセルをアク ry 。図は、あるカラムでは一つのセルだけがアク ry 、あるカラムではすべてのセルが ry
ry HTM セルは3つの状態を取る。 セルがフィード・フォワード入力によってアク ry 単に「アクティブ」の用語 ry
3) 以前の入力の文脈に基づいて、現在の入力からの予測をするリージョンの ry 予測はステップ 2)で作成した、すべての以前の入力からの文脈を含む表現に基づ ry
リージョンが予測をするときは、将来のフィード・フォワード入力によって アクティブになると考えられるすべてのセルをアクティブ(予測状態)にする。 リージョンの表現は疎であるので、同時に複数の予測がなされ得る。 例えばカラムのうちの 2%が入力によってアクティブになるとすると、 カラムの 20%が予測状態のセルとなることで10 個の異なる予測がなされ得る。 ry 40% ry 20 個 ry 。各カラムが 4 個のセルからなり、一度に一つだけがアクティブ になるとすれば、セル全体の 10%が予測状態 ry
今後、疎分散表現の章が追加されれば、異なる予測が混じり合っても、 リージョンは特定の入力が予測されたのかそうでないのかを高い確信 ry
リージョンはどうやって予測 ry ? 入力パターンが時間と共に変化するとき、 カラムとセルの異なる組み合わせが順次アクティブになる。 あるセルがアクティブになると、周囲のセルのうちすぐ直前にアクティブだったセルの 部分集合への接続を形成する。これらの接続は、そのアプリ ry で必要とされる学習速度 に応じて早く形成されたりゆっくり ry 調整できる。 その後、すべてのセルはこれらの接続を見て、 どのセルが同時にアクティブになるかを探さなくてはならない。 もし接続がアクティブになったら、 セルはそれ自身が間もなくアクティブになることを予測することができ、予測状態に入る。 よってある組み合わせのセルがフィード・フォワード入力によってアクティブになると、 ひき続いて起こると考えられる他の組み合わせのセルが予測状態になる。 ry 歌を聞いていて次の音を予測 ry 瞬間と同様 ry