Everspin today announced it's shipping samples of the industry's most dense magnetoresistive RAM (MRAM), which can replace standard DRAM for write caching operations as it's 10,000 times faster than NAND flash. 0268オーバーテクナナシー2016/04/19(火) 22:55:22.59ID:FI+l1Bfs MRAM実用段階に入ったのか どんくらいの値段になるのかなぁ 0269柴崎元治2016/04/20(水) 00:26:50.51ID:/ymgYx/O>>265 トウシツって何だ?ちゃんと等質って単語を使え!この馬鹿息子が!
Up Highway 101 in San Mateo, a company called Alluxio is creating ways to make cloud-based A.I. work better. Last week, a San Francisco company called Mesosphere, which makes a way to operate among various corporate and public clouds, raised $73.5 million.
Learning Spatiotemporal Features with 3D Convolutional Networks http://arxiv.org/abs/1412.07670279オーバーテクナナシー2016/04/27(水) 11:40:44.87ID:MufPABtX FacebookのAIで採用されている8xGPUパックサーバー、消費電力はわずか300W
The IBM system is, on a very superficial level, similar to D-Wave's. Both systems use superconducting quantum interference devices as qubits (quantum bits). But the similarity ends there. As IBM emphasizes, its quantum computer is a universal quantum computer―which D-Wave's is not.
That means useful qubit numbers should be coming within five years and toys that do neat tricks a couple of years later.
「Computation is based on the spatial and temporal positions of the pulses. “This is sort of the fundamental way neurons communicate with other neurons,” he says.」 0298オーバーテクナナシー2016/05/10(火) 04:28:36.31ID:7ttvNwD8 Cooling graphene-based film close to pilot-scale production http://phys.org/news/2016-04-cooling-graphene-based-pilot-scale-production.html
グラフェンで100GHzのプロセッサを制作可能。
http://www.nanosmiths.in/applications-of-graphene/ 「Since Graphene is widely known for its high carrier mobility and low noise features, it is highly recommended as a field-effect transistor. A Graphene-based integrated circuit can handle frequencies up to 10 GHz. The transistors printed on flexible plastic can operate at 25 gigahertz. A simple 2-inch of Graphene sheet can establish a processor using 100 GHz transistors.」 0299オーバーテクナナシー2016/05/10(火) 05:07:26.63ID:7ttvNwD8 グラフェンで100 GHzプロセッサ制作のソース
「According to their simulations, their manufacturing strategy could yield 100 GHz-capable thin flexible RF transistors to be manufactured at low cost and low temperature on large rolls of PET.」
「To put things in perspective, the smallest channel length of flexible transistors made on plastic substrates using the semiconductor nanomembranes is about 1 μm, report the researchers, an order of magnitude larger than their proposed design.」
「Moving heat more efficiently into the heatsink would reduce CPU core temps and allow for higher frequency operation or longer periods at Turbo Boost clocks as opposed to being stuck at base clock. As it becomes more difficult to push CPU advances through silicon technology improvements, ancillary methods of improving the thermal conductivity of the entire system will become increasingly important.」 0301オーバーテクナナシー2016/05/10(火) 05:40:06.03ID:7ttvNwD8 1次ソースではないが、グラフェンによるプロセッサのクロックで 1THzは目標数値のようだね。
「We were initially skeptical that drumsticks could be more efficient than direct hand interaction, but the result surprised us. Not only was typing with drumsticks faster than with a laser pointer, it was really fun! We even built a game that lets you track your words per minute (mine was 50 wpm!).」 0310オーバーテクナナシー2016/05/24(火) 05:48:08.37ID:H22lBB2/http://www.meti.go.jp/information_2/publicoffer/27hosei/27hosei_PR_15.pdf
While the E5 v4 CPUs are specced for scale-out systems, the E7 v4 family – announced today – is aimed at scale-up work: think analytics and in-memory database software that need lots and lots of RAM per node. An eight-socket E7 v4 system can support up to 24TB of RAM, twice that of the previous generation that launched last year.
ttp://mobile.twitter.com/p_ck_/status/769899686475857920 > 機械学習の講義はPython ry RubyでPythonのコードを吐き出すようなоо技術を出してくる人が ttp://d.hatena.ne.jp/ku-ma-me/20160401/p1 > 自分自身のソースコードを読み込 ry インライン展開 ry 簡単な部分計算したり、fastpath をこしらえたりして、 > コードクローンだらけの高速だけど最悪なコードを内部的に生成 ry 正規表現を駆使して適当に ry > 生成されたプログラム文字列を eval することでボトルネックの処理を置き換え http://google.jp/search?q=py2rb > Python -> Rubyへソースコード変換を行うpy2rb 03853842016/09/09(金) 20:33:46.15ID:QvVejvXm memo from book ``complexity'' (書籍``複雑系''からの引用) (This isn't advertisement for book ``complexity'', OK?)
memo of important parts from ``complexity'' written by M Mitchell Waldrop M Mitchell Waldrop著田中三彦&遠山峻征訳「複雑系」からの重要箇所のmemo ---- Thank you THE scientists. Thank you Mr M Mitchell Waldrop, Mr Mitsuhiko Tanaka, and Mr Takayuki Tohyama.
e0009 # Visions of the Whole j0007 # まえがき 1 # The Irish Idea of a Hero 第一章 # アイルランド的ヒーロー 2 # The Revolt of the old Tunks 第二章 # 老年急進派の反乱 3 # Secrets of the Old One 第三章 # 悪魔の秘密 4 # ``You Guys Really Believe That?'' 第四章 # 君ら、本当にそんなこと信じてるのかね? 5 # Master of the Game 第五章 # 遊戯名人 6 # Life at the Edge of Chaos 第六章 # 生命はカオスの縁に 7 # Peasants Under Glass 第七章 # ガラス箱の中の経済 8 # Waiting for Carnot 第八章 # カルノーを待ちながら 9 # Work in Progress 第九章 # その後のサンタフェ研究所 二十一世紀の地球のための科学 03863852016/09/09(金) 20:34:53.11ID:QvVejvXm #e0009 # Visions of the Whole #j0007 # まえがき
!!! e0009 e_s00_p0009_l002 This is a book about the science of ``complexity''---a subject that's still so new and so wide-ranging that nobody knows quite how to define it, or even where its boundaries lie. But then, that's the whole point. j0007 j_s00_p0007_l002 本書は<複雑性> (Complexity) の科学について 述べたものである。複雑性の科学---いまなお ひじょうに新しく、またひじょうに多分野にわたる ため、それをどう定義すべきか、どこに境界が あるのかもわからない学問だが、まさにそこが ポイントでもある。 03873862016/09/09(金) 20:35:46.32ID:QvVejvXm !!!!!! e0010 e_s00_p0010_l006 * How did a primordial soup of amino acids and other simple molecules manage to turn itself into the first living cell some four billion years ago? There's no way the morecules could have just fallen togather at random; as the creationists are fond of pointing out, the odds against that happening are ludicrous. So was the creation of life a miracle? Or was there something else going on in that primordal soup that we still don't understand? j0008_ ● アミノ酸などの単純な分子からなる原初の液体 は、約四十億年前、どのようにして最初の細胞に その姿を変えたのか。分子がランダムに組み合わ さってそうなったとは考えられない。特殊創造論者 が好んで指摘するように、それが起こる確率は ばかばかしいほど小さい。では、生物の創造は 奇跡だったのか。それとも原初の液体の中で われわれの理解を超える何かが起きていたのか。 !!!!!!! e0010 e_s00_p0010_l023 Is the incredibly precise organization that we find in living creatures really just the result of random evolutionaly accidents? j0009 _ 生物に見られるとてつもなく精密な構造は本当に ランダムな進化の産物なのか。 ---- I conclude in fundamental sense, ``random'' is not existance. In the same meen, the ``analog'' too. 03883862016/09/09(金) 20:36:11.41ID:QvVejvXm !!!!!! e0010 e_s00_p0010_l027 * What ```is life''', anyway? Is it nothing more than a perticularly complicated kind of carbon chemistry? Or is it something more subtle? And what are we to make of creations such as computer viruses? Are they just pesky imitations of life---or in some fundamental sense are they really alive? j0009_ ● つまるところ、生命とは何か。 コンピュータ・ウイルスのような創造物 ある根本的な意味で、本当に生きているのか。 ---- All things are ``living''. Their difference is ``just'' distance, astronomical distance, from ``the edge of chaos''. But at least ``nature language on sound'' doesn't support to expression to it. !!!! e0010 e_s00_p0010_l031 * What is a mind? How does a three-pound lump of ordinary matter, the brain, give rise to such ineffable qualities as feeling, thought, purpose, and awareness? j0009_ ● 心とは何か。脳という三ポンドのただの物質の 塊はどのようにして感情、思考、目的、自覚と いった、言葉にしがたい特質をもたらすのか。 ---- I conclude the mind and the consiousness are the most high leveled conditional reflex. 03893882016/09/09(金) 20:36:56.01ID:QvVejvXm !!!!!!!! e0010 e_s00_p0010_l034 * And perhaps most fandamentally, why is there something rather than nothing? j0009_ ● そしておそらくもっとも根本的なことだろう が、なぜ無ではなく何かが存在するのか。 !!!!! e0011 _ For example, every one of these questions refers to a system that is ``complex'', in the sence that a great many independent agents are interacting with each other in a great many ways. j0010_ 複雑な、とは、おびただしい数の独立した エージェントがさまざまなやり方で相互に作用 し合っているという意味である。 !! e0011 _ Think of the quadrillions of chemically reacting proteins, lipids, and nucleic acids that make up a livung cell, or the billions of interconnected neurons that make up the brain, or the millions of mutually interdependent individuals who make up a human society. j0010_ 無数のタンパク質、死亡、拡散が作用し合って細胞 を形成し、何十億のニューロンが連結して脳を形成 している。何百万の相互に依存した人間が人間社会 を形成している。 03903892016/09/09(金) 20:38:14.29ID:QvVejvXm !!!!!! e0012 _ The edge of chaos is the constantly shifting battle zone between stagnation and anarchy, the one place where a complex system can be spontaneous, adaptive, and alive. j0011_ カオスの縁は、間断なく移動していく「停滞と アナーキーの間にある戦場」であり、複雑系が 自発的、適応的であり得るところ、活気を帯びる ところである。 !!!!!! e0012 _ But they all shere the vision of an underlying unity, a common theoretical flamework for complexity that would illuminate nature and humankind alike. They believe that they have in hand the mathematical tools to create such a flamework, drawing from the past twenty years of intellectual ferment in such fields as neural networks, ecology, artificial intelligence, and chaos theory. They believe that their application of these ideas is allowing them to understand the spontaneous, self-organizing dynamics of the world in a way that no one ever has before---with the potential for immense impact on the conduct of economics, buisiness, and even politics. They believe that they are forging the first rigorous alternative to the kind of linear, reductionist thinking that has dominated science since the time of Newton---and that has now gone about believe they are creating, in the words of Santa Fe Institue founder George Cowan, ``the sciences of the twenty-first century.'' This is their story. 03913902016/09/09(金) 20:39:15.29ID:QvVejvXm j0012_ だが彼らはみな根源的な統一というヴィジョンを 共有している。ニューラル・ネットワーク、 エコロジー、人工知能、カオス理論といった諸分野 での過去二十年間の知見から、いまそれを引き出し つつあると信じている。そうした考えを応用する ことで、以前はだれも思いもつかなかったような形 でこの世の自発的、自己組織化的ダイナミクスを いま理解しつつあると、またそれは経済、 ビジネス、政治に計り知れない影響を与える可能性 があると、信じている。彼らは、ニュートン時代 以来科学を支配してきた線形的、還元主義的思考 へのしかるべき対案を、いまはじめてつくりつつ あると信じている。サンタフェ研究所の設立者 ジョージ・コーワンの言葉を引けば、彼らは 「二十一世紀の科学」を創造していると信じている のだ。 本書はその彼らについての話である。 0392オーバーテクナナシー2016/09/10(土) 09:57:57.81ID:SKEqc5K2 実写にしか見えない3DCG美少女「Saya」が進化 「不気味の谷」を完全に打ち破る http://nlab.itmedia.co.jp/nl/articles/1609/09/news149.html03933852016/09/10(土) 12:19:34.44ID:14k38Ui3 e0015_ #1 # The Irish Idea of a Hero j0013_ #第一章 # アイルランド的ヒーロー 世界のダイナミクスを捉える新経済学
e0016_ Insted of looking for the simplest pieces possible, they were starting to look at how those pieces go togather into complex eholes. j0015_ 可能なかぎり単純な断片を探し求めるのではなく、 そうした断片がどのように組み合わさって複雑な 全体になるかに、科学者たちは目を向けはじめて いた。 !!!!!!! e0019_ ``I guess it wouldn't be a revolution, would it, if everybody believed in it at the start?'' j0018_ 「そうよ、だれもが最初から信じたりしたら、 それは革命じゃないってことじゃなくて?」 03943852016/09/10(土) 12:19:59.08ID:14k38Ui3 e0019_ The Education of a Scientist j0019_ 科学者を育てた教育 ! j0020_ 「なるほど、この学部にアイルランド人が一人くらい いるのも悪くない。少しばかり彩りを添えてくれるからな」 e0021_ ``I learned that operating at the top was just as easy as operating at the bottom,'' he laughs. j0021_ 「上で仕事をするのは、下で仕事をするのと 同じくらい簡単だということを知ったよ」と、 彼は笑う。 !!!!!!! e0021 e_s01_p0021_l027 It didn't take very long for Arthur to realize that, when it came to real-world complexities, the elegant equations and the fancy mathematics he'd spent so much time on in school were no more than tools---and limited tools at that. The crucial skill was insight, the ability to see connections. j0022 j_s01_p0022_l001 現実の世界の複雑さということになると、学校で 多くの時間を費やして学んできたエレガントな 方程式も高級な数学もただの道具---それも 限定された道具---にすぎないことをアーサーが 知るのに、それほど時間はかからなかった。 決定的に重要なのは洞察力、つまり関連を見いだす 能力だった 03953852016/09/10(土) 12:20:41.58ID:14k38Ui3 !!!!!! e0027_ Everything interlocked, and no piece of the puzzle could be considered in isolation from the others: ``The number of children interacted with the way their society was organized, and the way their society was organized had a lot to do with the number of children they had.'' j0030_ すべてが相互に絡んでいる。どんな問題も他から 切り放して一部を考えることはできない。「一家族 の子供の数は社会がどう組織されているかと関係 していたし、社会がどう組織されるかは、一家族の 子供の数と大いに関係していた」 !!!!!! e0028_ Patterns. Once he had made the leap, Arthur found that there was something about the concept that resonated. j0030_ パターン。ひとたび飛躍をすると、アーサーは、 ほかにもその概念と共鳴するものがあることに 気づいた。 !!!! j0030_ 飛行機 岩石、土、氷、雲、等々。しかしこれらの 要素はある特有のパターンを織りなしており、それは たとえば三十分ほど続いた。 !!!!!! j0031_ いまやどこへいってもパターンが見えはじめていた。 j0031_ 「何年もかかって、二つの文化はどちらも、互いに 異なる、しかし一貫したパターンにたどりついたのだ」 03963852016/09/10(土) 12:21:36.99ID:14k38Ui3 e0029_ Epiphany on the Beach j0032_ 海岸での啓示 !!!!!! j0032_ だれもが独自の研究スタイルをもっていると、 アーサーはいう。ある研究問題を城壁に囲われた 中世の町のようなものと考えるなら、多くの者が、 破壊槌のように、それに真っ向から挑むだろう。 城門を攻撃し、鋭い知力とすぐれた頭脳で警護隊を 打ち破るだろう。だがこれまでアーサーは、 破壊槌的アプローチが彼の強さであると考えたこと はない。「自分はのんびり考えるのが好きだから、 城の外に陣取るよ。そして考える。そうすれば いつか---たぶんまったく違う問題に目を向けて いるときだろうが---吊り上げ橋が降りてきて 護衛兵がいう。『降参だ』。ただちに問題の答えが 見えてくる」 e0029_ , that Arthur had opened up the book he had brought along for just such a moment: Horace Freeland Judson's ``The Eighth Day of Creation'', a 600-page history of molecular biology. j0032_ ホーレス・フリーランド・ジャドスンの 『分子生物学の夜明け』、分子生物学の歴史を 記した六百ページの本がそれだった。 !!!!!! j0033_ にもかかわらず、それは<科学>だった 窓の向こうにある生命や生物や自然を眺めるといった 話になると、科学が突然止まってしまうような考えを 03973852016/09/10(土) 12:22:04.10ID:14k38Ui3 !!!!!!! j0035_ 一九六〇年代のはじめ 遺伝子の小さな部分が小さなスイッチとして機能 スイッチの一つをオンにすると 新たに活性化された遺伝子が仲間の遺伝子に 化学信号を発する。この信号はDNA分子全長にわたって 上り下りし、他の遺伝子のスイッチ群を作動させ、 あるものをオンに、ある物をオフにする。すると今度は これらの遺伝子がそれぞれの信号を発しはじめる (あるいは信号を停止する) 。こうして、細胞の 遺伝子集合が新しい安定したパターンになるまで、 つぎつぎとスイッチが作動していく。 生物学者にとってこの発見の意味はとてつもない ものだった (それほどのものだったからこそ、 ジャコブとモノーは後にノーベル賞を共同授賞した) 。 それは、細胞核の中にあるDNAがその細胞に対する 単なる青写真---いろいろなタンパク質のつくり方を 記したカタログ---ではないことを意味していた。 DNAはじつは建設現場監督だった。DNAは一種の 分子規模のコンピュータであり、細胞がどのように みずからを構築し、どのように修復し、どのように 外界と相互作用するかを指揮していたのだ。さらに ジャコブとモノーの発見は、一個の授精卵が どのように分裂し、どうやって筋肉細胞、脳細胞、 肝臓細胞などさまざまな種類の細胞に分化し、新生児 をつくりあげるのかという、長い間の謎を解決した。 タイプの異なるそれぞれの細胞は、異なったパターン に活性化された遺伝子に対応していたのだ。 アーサーにとって、それを読んだときのデジャヴュ と興奮は打ちのめされるほどのものだった。ここでも またパターンだった。 03983852016/09/10(土) 12:22:48.92ID:14k38Ui3 !!!!!! e0032 e_s01_p0032_l020 Somehow, at some very deep level that Arthur didn't know how to define, the phenomena of physics and biology were the same. j0036_ アーサーにとっては、どう定義してよいのか わからないある深いレベルで、物理学と生物学の 現象は同じものだった。 !!!!!! e0032 e_s01_p0032_l035 Basdcally, Prigogine was addressing the question, Why is there order and structure in the world? Where does it come from? j0037_ プリゴジンは基本的に次のような問いを発して いた。なぜこの世には秩序と構造があるのか? それはどうして生まれるのか? !!!! e0033 e_s01_p0033_l011 Yet for all of twhat, we do see plenty of order and structure around. The answer, as Prigogine and others realized back in 1960s, lies in that innocuous-sounding phrase, ``Left to thenselves . . .'' j0037_ にもかかわらず、周囲は秩序と構造であふれている その答えは、一九六〇年代にブリゴジンらか 気づいたように、さして意味があるようにも思え ないあの言い回し「放置しておけば……」にある。 03993852016/09/10(土) 12:23:55.04ID:14k38Ui3 !!!! e0033 e_s01_p0033_l020 Over a limited region, in fact, a system can spontaneously organize itself into a whole series of complex structures. The most familiar example is probably a pot of soup sitting on the stovetop. If the gas is off, then nothing much happens. j0037_ 実際、あるかぎられた領域で、システムは 自然発生的に自己組織化し、ある一連の複雑な構造 を呈するようになる。 たぶんもっとも有名な例は、がスレンジの上の ポットの中のスープだろう。ガスを消してしまえば !!!!! e0034_ Arthur sat up immediately when he read those words. ``The economy is a self-organizing system.'' That was it! j0038_ これを読んだときアーサーは仰天した。「経済は 自己組織化システムである」。そうだったのだ! !!!! e0034_ And suddenly, says Arthur, ``I recognized it as what in engineering we would have called positive feedback.'' j0039_ そして突然アーサーはいう。「それは工学の世界で いわれてきた、いわゆる ポジティブ・フィードバックだということが わかった」。 04003852016/09/10(土) 12:24:21.14ID:14k38Ui3 !!!!!!! e0036 e_s01_p0036_l015 a rich mixture of positive and negative feedbacks can't ```help''' producing patterns. j0042_ ポジティブ・フィードバックとネガティブ・ フィードバックの実りある結合は、パターンを 生まざるを<得ない>のだ。 e0036_ No: They came because Massachusetts Bay was where the Pilgrims Get off the boat, and the Pilgrims got off the boat there because the ```Mayflower''' got lost looking for Virginia. j0042_ そうではない。清教徒一団がたまたま船を降りた のがマサチューセッツ湾だったからであり、彼らが なぜそこで船を降りたかといえば、ヴァージニアを 目指していたメイフラワー号が迷ったからだ。 ---- Why ``Mayflower'' got lost looking for Virginia? And what is the cause of ``it''? And again, what is the cause of ``it''? Certainly, ``the answer'' is existance, if we can't understand it. ``Certainly''. ! j0043_ 「私は宝の山に足を踏み入れ、つぎつぎと宝を拾い上げて いたんだ」 !! e0038_ After all those years, he says, ``I finally had a point of view. A vision. A solution.'' j0044_ 幾歳月を経て「ついに視点を手にした。 ヴィジョンを、答えをね」 04013852016/09/10(土) 12:25:31.26ID:14k38Ui3 e0038_ What's the Point? j0045_ 要点は何かね? !! j0046_ 医学の研究者たちが体の本当の複雑さに注意を払うように なってはじめて、本当に見込みのある処置や薬を工夫 できるようになったのだ。 彼にとって収穫逓増のアプローチとは、それと 同じ道を経済学がたどることだった。 !!!!!! e0039_ Predictions are nice, if you can make them. But the essence of science lies in ``explanation'', laying bare the fundamental mechanisms of nature. j0046_ 予測できるなら、それはそれで結構なことだ。 だが科学の本質は<説明>、つまり、自然の 基本的なメカニズムを明らかにすることにある。 e0042_ `Well, under perfect capital markets, it couldn't happen!' ``What you're describing may happen in Western economies. But with perfect socialist planning this can't happen. We would arrive at the correct outcome.'' j0050_ 『完全な資本主義のもとではそういうことは 起こり得ない!』 「君が述べていることは西洋経済では起こる かもしれん。だが完全な社会主義の計画のもと では、それは起こり得ない。われわれなら 正しい結果にたどりつく」 04023852016/09/10(土) 12:26:05.59ID:14k38Ui3 !!!!!! j0053_ 「何かを数式で表現すればその本質が現れる」、と 彼はいう。 e0046_ Violating Sacred Ground j0056_ 聖なる基盤を汚す j0057_ 「私は交渉なんかしてませんよ。ただ、あなたが 私をここに留めておくにはどうしたらよいかと おっしゃるから」 !!!!!! j0058_ どちらも、人々がしたいようにさせておけば社会は 一番うまくいくという考え方に根ざしている。 j0058_ 「すべての人間をジョン・ウェインにし、銃を持って 走り回らせること」 j0060_ 『やれやれ、これまでひどく数学的な論文を出して きたからな』とも思った。 0403穐元龍也2016/09/10(土) 14:15:33.72ID:UR7BaDTG 僕は穐元龍也。 顔は多重人格探偵サイコの雨宮一彦似。 http://i.imgur.com/9U9MuFo.jpg 職業は精神病患者。 http://i.imgur.com/7mQQb9G.jpg 趣味はお絵描き。 http://i.imgur.com/R4uBqfL.jpg 特技は床オナ。 http://i.imgur.com/tUqCMCG.png 好物はイタリアン。 http://i.imgur.com/gms9eca.jpg 都内在住。 http://i.imgur.com/hlM8Gpq.jpg どうかよろしく。 0404穐元龍也2016/09/10(土) 14:18:02.40ID:UR7BaDTG>>392 デザイナーベビーやアンドロイドの容姿をデザインするのに応用できそうだ。 0405オーバーテクナナシー2016/09/11(日) 01:23:00.84ID:meYthL1B ・集団ストーカー・電磁波犯罪被害の科学的根拠及び、技術上の根拠は以下のアドレスへ (警察板より退避) http://jbbs.shitaraba.net/bbs/read.cgi/study/12517/1415977550/ これを読まずして、貴方は、集団ストーカー・電磁波犯罪被害者を統合失調症呼ばわり出来ない
他にもいろいろあると思いますが、これに類するセリフを聞いた事がある人は、警察に一報をいれて貰えたらと思います。 04103852016/09/11(日) 11:17:37.26ID:tILA70OI e0052_ #2 # The Revolt of the old Tunks j0063_ #第二章 # 老年急進派の反乱 サンタフェ研究所の胎動
e0054_ George j0066_ ジョージ・コーワン !! j0067_ コーワンにとってサンタフェ研究所は伝導団だった。 コーワンにとって、それは科学全体が一種の贖罪 ないし再生を成し遂げる機会だった。 !!!!!! j0075_ 関係の網を理解する必要 !!!!!!! e0063_ ``Computers,'' says Cowan with considerable understatement, ``are great bookkeeping machiens.'' But they could also be much more than that. Properly programmed, computers could become entire, self-contained worlds, which scientists could explore in ways that vastly enriched their understanding of the real world. j0078_ 「コンピュータはすごい簿記マシンだ」と、 コーワンはいう。 しかしコンピュータはもっとすごいものにも なり得る。うまくプログラムすれば、コンピュータ は一個の自立した世界になる。そして科学者は その世界を探検することで、現実の世界に対する 理解を大いに深めることができる。 ---- Yes, because both worlds ---``computer world'' and ``real world''--- are REAL. 04113852016/09/11(日) 11:18:09.75ID:tILA70OI !!!!!!!!!! e0064 e_s02_p0064_l017 , physicists had begun to realize by the early 1980s that a lot of messy, complicated systems could be described by a powerful theory known as ``nonlinear dynamics.'' And in the process, they had been forced to face up to a disconcerting fact: the whole really can be greater than the sum of its parts. j0079 j_s01_p0079_l014 、一九八〇年代はじめまでに物理学者達は、 ごたごたした複雑なシステムの多くは 「非線形力学」として知られる強力な理論によって 説明できるのではないかと考えはじめていた。 そしてそこへ至る過程で、彼らは、全体はその 部分の総和よりも大きい事があり得るという、 狼狽するような事実に必然的に直面したのである。 ---- What is ``the WHOLE''? Each cell of brain cannot understand it. We never understanding it in the fundamental way. !!! j0085_ だがどこにつくるにしても、この研究所はとくに 優れた科学者たち---それぞれがそれぞれの分野の 問題を本当によく理解している者たち---を連れて こられるような場、そして普通よりずっと広範な カリキュラムを提示できるような場、でなくては ならなかった。あるいは、上級研究者が同僚に嘲笑 されることなく独創的なアイディアに取り組むこと ができる場、そして、充分な自信を与えてくれる ような世界的な人物のそばで、頭の切れる若い 科学者たちが研究できるような場、でなければ ならなかった。 04123852016/09/11(日) 11:19:29.15ID:tILA70OI e0069_ The Fellows j0086_ 上級特別研究員 !!! j0091_ だがなんたること、``またもや''コンピュータ研究 センター? そんなことで本当にだれかを夢中に させられるだろうか。研究所はそれ以上のもので なければならない---たとえそれがどんなものかを彼らが 正確に言葉にできないにしても。まさにそれが問題 だった。 !!! e0073_ At the same time, however, he was convinced that getting a consensus on the direction of the institute was far more important than money or any of the rest of the details. If this institute were ``just'' a one-man show, he felt, then it wasn't going anywhere. After thirty years as an administrator, he was convinced that the only way to make something like this happen was to get a lot of people excited about it. ``You have to persuade ``very'' good people that this is an important thing to do,'' he says. ``And by the way, I'm not talking about a democracy. I'm talking about the top one-half of one percent. An elite. But once you do that, then the money is---well, not easy, but a smaller part of the problem.'' 04133852016/09/11(日) 11:21:16.45ID:tILA70OI j0091_ が、同時に、研究所の方向性に関してコンセンサス をとることの方が、金やその他もろもろの細かい ことより、はるかに重要であると確信していた。 もしその研究所がワンマンショーのようなもので あれば、どうにもなるまいと感じていた。管理職 として三十年、こうしたことを実現させる唯一の道 は多くの人間を夢中にさせることだと、彼は確信 していた。「これが重要なことであることを ``とくに''優れた人間にわかってもらう必要が ある。ちなみに、私は民主主義のことをいっては いない。〇・五パーセントの上層のことをいって いるのだ。エリートのこと。それがやれたら、 金なんて---まあ容易ではないが---たいした問題 ではない」と、コーワンはいった。 04143852016/09/11(日) 11:22:25.59ID:tILA70OI e0073_ Murray j0092_ マレー・ゲルマン !!!!! e0076_ ``I said I felt that what we should look for were great syntheses that were emerging today, that were highly interdisciplinary,'' says Gell-Mann. Some were already well on their way: Molecular biology. Nonlinear science. Cognitive science. But surely there were other emerging syntheses out there, he said, and this new institute should seek them out. By all means, he added, choose topics that could be helped along by these huge, big, rapid computers that people were talking about---not only because we can use the machines for modeling, but also because these machines themselves were examples of complex systems. Nick and Gian-Carlo were perfectly correct: computers might very well turn out to be part of such a synthesis. But don't put blinders on before you start. If you're going to do this at all, he concluded, do it right. 04153852016/09/11(日) 11:23:38.27ID:tILA70OI j0095_ 「われわれがもとめるべきはいま見えはじめてきた いくつかの極度に学際的な大統合ではないかと思う、 と私はいったんだ」と、ゲルマンはいう。すでに いくつかはそういう道を進みはじめていた。 分子生物学、非線形科学、認知科学。だが、たしかに それ以外にも新しい統合があった。だからこの新しい 研究所はそういうものを探し出すべきである、と。 ぜひ、いま騒がれているような大型・高速の コンピュータを使うことで可能になる話題を選ぼう ではないか。コンピュータを使うのはモデル化だけの ためではなく、そういう機械そのものが複雑な システムの例だからだ、そう彼はつけ加えた。 ニック (メトロポリス) とジャンカルロ (ロータ) の 考えは完全に正しい。コンピュータはそうした統合の 一部になるかもしれない。だが、はじめる前に目隠し をしてはならない。いやしくもやろうというなら、 正しくやるべきだ、そう彼はいった。 e0077_ George j0098_ ジョージ・コーワン !! e0078_ ``All it took,'' he says, ``was a good lawyer and a couple of friendly senators.'' j0098_ 「それで得たものといえば、一人の優秀な弁護士と 二人の親切な上院議員だけだったがね」と、彼は いう。 04163852016/09/11(日) 11:24:42.70ID:tILA70OI e0079_ Phil j0101_ フィル・アンダースン !!!! j0102_ だが学際的な研究所としてはみじめな失敗例だと、彼は みていた。切れ者の集団だか、おのれ自身のことばかり していて、たがいに意見をかわすことはほとんどない。 そこに入っても思いを果たせなかった優秀な科学者を、 アンダースンは何人も見てきた。 !!!!! j0103_ 「哲学的に正しい」 、彼はいう。そうでなければ、 科学が存在できるとは考え難い。自然法則の存在を信ずる ことは、宇宙が究極的には理解可能であると信ずることだ。 それは、銀河の密度を決定しているのと同じ力が、地面 へのリンゴの落下を決定していると考えることだ。 自然法則の存在を信ずることは、もっとも深いレベル での宇宙の統合を信ずることなのだ。 しかしこの信念は、基本法則と基本粒子だけが研究に 値し、他のことはすべて大型コンピュータで予測できると いうことではない、とアンダースンはいう。 0417YAMAGUTIseisei2016/09/12(月) 01:28:39.68ID:zJmk3Nkmhttp://rio2016.2ch.net/test/read.cgi/future/1472305818/813#DeepPredNet_hosoku > こういう流れで分散 OS のサワリの話すら出た例 ry : > OS レベルメタオブジェクトやらの難しい話 ( 自分も詳しくない ) でなく > 単に >>806 の自律補助拡張が OOPL インスタンスの投影との話さえ ry
あらゆる物事に対してまず否定から入る 肯定・賛美を認めない。否定に特化した性格 不確実でも都合の良い周辺情報は信用する 情報ソースが2chやコピペブログ、個人のTwitterなどのネットの伝聞 10か0かの極端な思考 (品薄以外は山積み爆死、上位少数以外は皆不人気、値引き=即投げ売り等)レッテル貼りの多用 (ゆとり、団塊、老害、ネトウヨ、ブサヨ、情弱、中二病、 パクリ、トレス、チョン、やらせ、スイーツ、ビッチ、キモオタ、等) 不幸の娯楽化。(メシウマ思考)上から目線で周囲を見下し、優劣を付けたがる 非寛容で、許容の心がない 「○○厨」の多用 現実にネットの用語・習慣を無理矢理持ち込む ネットの情報を真の常識と思ってしまう (ネットでこれだけ叩かれているから○○は誰にとっても駄作等) 煽り荒らしの姿勢が常態化する 自分に対する批判を「不当な誹謗中傷」などと都合良く解釈する 自分からの誹謗中傷は「真っ当な批判」と主張する それでも自分だけは2ch脳じゃないと思いこんでいる 04193852016/09/12(月) 17:54:24.69ID:zJmk3Nkm !!!!! e0081_ This everything-else-is-chemistry nonsense breaks apart on the twin shoals of scale and complexity, he explains. Those zillions of molecules have collectively acquired a property, liquidity, and how to look for it, there's nothing in those well-understood equations of atomic physics that even hints at such a property. The liquidity is ``emergent.'' In much the same way, says Anderson, emergent properties often preduce emergent behaviors. Cool those liquid water molecules down a bit, for example, and at 32^OF they will suddenly quit tumbling over one another at random. Instead they will undergo a ``phase transition,'' lotking themselnes into the orderly crystalline array known as ice. Or if you were to go the other direction and heat the liquid, those same tumbling water molecules will suddenly fly apart and undergo a phase transition into water vapor. Neither phase transition would have any meaning for one molecule alene. And so it goes, says Anderson. Weather is an emergent property: take pour water vapon out over the Gulf of Mexico and let it interact with sunlight and wind, and it can organize itself into an emergent structure known as a hurricane. Life is an emergent property, the product of DNA molecules and protein molecules and myriad other kinds of molecules, all obeying the laws of chemistry. The mind is an 04203852016/09/12(月) 17:57:46.35ID:zJmk3Nkm emergent property, the product of several billion neurons obeying the biological laws of the living cell. In fact, as Anderson pointed out in the 1972 paper, you can think of the univirse as forming a kind of hierarchy: ``At each lenel of complexity, entirely new properties appear. [And] at each stage, entirely new laws, concepts, and generalizathons are necessary, requiring inspirathon and creativity to just as great a degree as in the previous one. Psychology is not applied biology, nor is biology applied chemistry.'' j0103_ あとは化学の問題だ---このナンセンスは規模と 複雑さという二つの浅瀬にのりあげて崩壊すると、 彼はいう。 つまりその何兆という分子全体が、個々の分子 にはない液状という特性を獲得したのだ。 原子物理学の式そのものにはそういった特性を 匂わせるものは何もない。液状という特性は 「創発的」 (エマージエント) なのである。 これとまったく同じように、創発的な特性は 創発的な振る舞いを生み出すと、アンダースンは いう。たとえば液状の水の分子を冷やすと、華氏 三十二度 (摂氏〇度) で突然それらの分子は無秩序 にもみあうのを止めて「相転移」し、氷という秩序 だった結晶配列の中に閉じこもる。また反対に 暖めると、もみあっていた水の分子がばらばらに なり、水蒸気へと相転移する。いずれの相転移も、 一個の分子には何の意味もない。 アンダースンは続ける。気象は創発的な特性だ。 メキシコ湾上の水蒸気が光や風と相互作用すると、 ハリケーンという創発的な構造になる。生命は 04213852016/09/12(月) 17:58:24.34ID:zJmk3Nkm 創発的な特性であり、化学法則に従うDNA分子、 タンパク質分子、その他もろもろの分子から生まれ ている。じつは一九七二年の論文でアンダースンが 指摘したように、宇宙は一種の階層構造を形成して いるとみることができる。「複雑さのそれぞれの レベルで、まったく新しい特性が出現している。 それゆえ、それぞれの段階でまったく新しい法則や 概念や一般化が必要なのであり、したがって、 前段階におけるのと同じ程度に、 インスピレーションと創発性が要求される。 心理学は応用生物学ではないし、生物学は応用化学 ではない。 j0106_ そしてアンダースンは、その夏の終わりにプリンストンに 戻るや、失敗せずに研究所を組織するにはどうすべきかを、 三、四枚の紙にメモした (重要なポイント---独立した部門を つくらないこと!) 。 その秋、彼はサンタフェへの旅の予約をした。 04223852016/09/12(月) 17:59:41.03ID:zJmk3Nkm e0084_ ``What am ``I'' doing here?'' j0106_ 「俺はここで何をしているんだ?」 !!!!! e0084_ ``We didn't want the retlusive types, the ones who shut themselves off to write their book in some office,'' sayo Cowan. ``We needed communication, we needed excitement, we needed mutual intellectual stimulation.'' j0107_ 「われわれは世捨て人のような人間、本を書く ために研究室に閉じこもってしまうような人間は 欲しなかった。われわれが必要としたのは コミュニケーションであり、興奮であり、相互の 知的な刺激だった」と、コーワンはいう。 !!! j0107_ そして結局、そうやって出来上がったものは、物理学者から 人類学者、臨床心理学者までの「驚くべき人物リスト」 だった。 !!!!!! もちろん、それらの人間が一堂に会すると何が起こるか は、コーワンにも、他の者にも、皆目見当がつかなかった。 04233852016/09/12(月) 18:00:29.63ID:zJmk3Nkm !!!!!! e0086_ by Stephen Wolfram Whenever you look at very complicated systems in physics or biology, he said, you generally find that the basic components and the basic laws are quite simple; the complexity is actually in the organization ---the myriad possible ways that the components of the system can interact. j0110_ スティーヴン・ウルフラムだった。 彼はつぎのようにいった。物理学や生物学に おけるひじょうに複雑なシステムを調べてみると、 たいていの場合、その基本構成物と基本法則は きわめて単純である。つまり複雑性は、こういった 単純な多数の構成物が同時に相互作用することから 生まれている。複雑性とは組織化---システムの 構成物が相互作用する無数の可能な状態---の中に ある、と。 !!!!!!! e0087_ Louis Branscomb, chief scientist of IBM, strongly endorsed the idea of an institute without departmental walls, where people could talk and interact creatively. ``It's important to have people who steal ideas!'' he said. j0110_ IBMの主任研究員、ルイス・ブランスカムは、部門の 壁をもたず、人々が創造的に会話をし、相互に影響 しあえる研究所、という考えを強く支持した。 「アイディアを盗むような人間がいることが 重要だ!」と、彼はいった。 04243852016/09/12(月) 18:01:07.67ID:zJmk3Nkm !!!!! e0087_ ``They began to realize that something was going on, and they opened up,'' says Cowan. By the second day, Sunday, he adds, ``it became a very exciting thing.'' And by the time the participants headed home on Monday morning, it was clear to everyone that there really could be a core of science here. j0111_ 「参加者たちは何かが進行していることに気づき はじめ、うち解けていった」と、コーワンはいう。 二日目の日曜日までには「状況はとても エキサイティングなものになった」。そして月曜日 の朝、参加者たちが家路につくころまでには、ここ に化学の中核が存在し得ることを疑うものはだれも いなかったと、彼はつけ加える。 !!!!!!! e0088_ Complexity, in other words, was really a science of emergence. And the challenge that Cowan had been trying to articulate was to find the fundamental laws of emergence. j0112_ つまり、複雑性とはじつは創発の科学だったのだ。 コーワンが言葉にしようとしてきたものは、創発の 基本的な法則を見いだすことだったのだ。 !!! j0113_ そしてこの時期に、この新しい統合的な科学はそれに ふさわしい名前を獲得した。複雑性の科学、である。 「この言葉は、われわれが使っていた『新しい統合』など よりずっとよかった。 」と、コーワンはいう。 04253852016/09/12(月) 18:02:15.70ID:zJmk3Nkm e0089_ John j0113_ ジョン・リード !!!!! j0117_ どうやらこの頭取は、座席の肘掛けに脚をだらりと掛けて 話すのが好きらしかった。 !!!!!! e0092_ he says, ``It gives me an opportunity to talk to an academmmmic-intellectual group of folks who tend to look at the world quite differently from my day-to-day job. I think I benefit from seeing it both ways.'' j0117_ 「 私の毎日の仕事とはまったく違う見方で世界 を見ている学究的な知的集団の人間と話ができる からね。世界を二つの目で見られるようになる」 と、彼はいう。 e0096_ Ken j0123_ ケン・アロー !!!!! e0097_ It wouldn't be healthy to have a solid phalanx of neoclassical theorists, he thought; you needed somebody to remind you of things the standard theory had trouble with.
あらゆる物事に対してまず否定から入る 肯定・賛美を認めない。否定に特化した性格 不確実でも都合の良い周辺情報は信用する 情報ソースが2chやコピペブログ、個人のTwitterなどのネットの伝聞 10か0かの極端な思考 (品薄以外は山積み爆死、上位少数以外は皆不人気、値引き=即投げ売り等)レッテル貼りの多用 (ゆとり、団塊、老害、ネトウヨ、ブサヨ、情弱、中二病、 パクリ、トレス、チョン、やらせ、スイーツ、ビッチ、キモオタ、等) 不幸の娯楽化。(メシウマ思考)上から目線で周囲を見下し、優劣を付けたがる 非寛容で、許容の心がない 「○○厨」の多用 現実にネットの用語・習慣を無理矢理持ち込む ネットの情報を真の常識と思ってしまう (ネットでこれだけ叩かれているから○○は誰にとっても駄作等) 煽り荒らしの姿勢が常態化する 自分に対する批判を「不当な誹謗中傷」などと都合良く解釈する 自分からの誹謗中傷は「真っ当な批判」と主張する それでも自分だけは2ch脳じゃないと思いこんでいる 04283852016/09/13(火) 18:25:39.65ID:b48WBdqB e0099_ #3 # Secrets of the Old One j0125_ #第三章 # 悪魔の秘密 生命の起源を探る遺伝子ネットワーク研究
e0099_ Chaos j0126_ カオス !!!!! e0101_ And at any given moment in between, he could be heard trying out his latest ideas on anyone who would listen; rumor had it that he was once overheard explaining some of the finer points of theoretical biology to the copier repeir man. Or if visitors weren't around, he would soon be explaining the ideas to the nearest available colleague about a hundred times in a row. At length. In detail. j0128_ それ以外の時は、話を聞いてくれさえすれば 相手かまわず最近の自分の考えを披露しようと した。ある時など、理論生物学の小難しい話を、 コピー機の修理にきた人間に説明していたという。 訪問者がいなければ、手近な同僚を捕まえてすぐに 考えを説明する。立て続けに約百回、微に入り、 細に入り。 04294282016/09/13(火) 18:26:37.54ID:b48WBdqB !!!!!! e0102_ , it was also true that Kauffman couldn't help it. For nearly a quarter of a century he had been a man in the grip of a vision---a vision that he found so powerful, so compelling, so overwhelmingly beautiful that he simply could not hold it in. j0129_ 、カウフマンにすれば仕方のないことでもあった。 彼は約四半世紀のあいだ、あるヴィジョンに とりつかれてきた人間だった。彼にとってそれは あまりにも力強い、あまりにも説得力のある、 圧倒されるほど美しい、それゆえにとても内には 抑えておけないヴィジョンだったのだ。 ---- beautiful network makes more-``trade'' with other networks. e0103_ Order j0130_ 秩序 !!!!! e0113_ It took a certain chutzpah to write that letter, Kauffman admits. Grand old man or not, however, McCulloch seemed to be the only scientist Kauffman could share his work with. j0145_ そんな手紙を書くのはひどく厚かましいこと だったと、カウフマンは認める。 大御所であろうとなかろうと、カウフマンに とって自分の研究を理解してくれそうな学者は マカラックただ一人であるように思えた。 04304282016/09/13(火) 18:28:15.41ID:b48WBdqB !!!!!! e0113_ For the past two decades, he and a band of loyal follows had been working out the implications of an idea first put forward in 1943, when he and an eighteen-year-old mathematician named Walter Pitts had published a paper entitled ``A Logical Calculus of the Ideas Immanent in Nervous Activity.'' In that paper, McCulloch and Pitts had claimed that the brain could be modeled as a network of logical oparations such as ``and'', ``or'', ``not'' and so forth. It had been a revolutionaly idea at the time, to put it mildly, and had proved to be immensely influential. Not only was the McCullouch-Pitts model the first example of what would now be called a neural network, it was the first attempt to understand mental activity as a form of information proccessing---an insight that provided the inspiration for artificial intelligence and cognitive psicology alike. Their model was also the first indication that a network of very simple logic gates could perform exceedingly complex computations---an insite that was soon incorporated into the general theory of computing machines. j0145_ 一九四三年にはじめて世に出たある概念と関わる 問題に取り組んでいた。マカラックと、 ウォルター・ピッツという十八歳の数学者が連名で 出した論文、『神経活動に内在する思考の論理的 計算法』に関してである。その論文の中で マカラックとピッツは、脳を<and>、<or>、 04314282016/09/13(火) 18:30:16.12ID:b48WBdqB <not>のような論理操作のネットワークで モデル化することが可能であると主張していた。 控え目にいって、当時それは革命的な考え方で あり、またひじょうに大きな影響を与えた。 マカラック=ピッツのモデルは今日いうところの 神経ネットワーク理論の最初の例であるだけで なく、精神活動を情報処理の形で理解しようとした 最初の試み、人工知能学や認知心理学に大きな刺激 を与える洞察、だった。また彼らのモデルは、非常 に単純な論理ゲートのネットワークによって きわめて複雑な演算をおこなうことができることを 最初に示唆したもの---その後まもなく計算機の 一般理論に組み込まれた洞察---だった。 ---- It is (``one of'') the authority of ``the ``world'' is the digital''. e0117_ Death and Life j0150_ 死と生 !!!!!! e0118_ The irony of it was that when Kauffman used the word ``order,'' he was obviously refering to the same thing that Arthur meant by the word ``messiness'' j0151_ 皮肉なのはカウフマンが「秩序」という言葉で いわんとするものが、アーサーのいう「混乱」 !!!! j0156_ アトラクタ !!!!!! j0162_ 形成されねばならないのであり 04324282016/09/13(火) 18:30:57.20ID:b48WBdqB ! j0166_ あの男は秩序だとかネットワーク が、何か分子を取り上げて具体的なことをいう ことはできない !!!!!!! e0133_ , a universe of which we are privileged to be a part. j0173_ われわれは宇宙の一部であるという感覚に 包まれた。 ---- We are the part of universe, but not privileged. e0133_ Santa Fe j0173_ サンタフェ 04333852016/09/15(木) 00:18:06.57ID:vB9lhx3L e0136_ #4 # ``You Guys Really Believe That?'' j0176_ #第四章 # 君ら、本当にそんなこと信じてるのかね? 経済学者と物理学者の理解・不理解
j0182_ 物理学者が 封筒の裏で少しの計算をする ! j0183_ 「われわれ経済学の粒子は賢く、あなたがた物理学の粒子は おばかさんだということ」 04343852016/09/16(金) 01:01:09.16ID:IMPbLUQS e0144_ #5 # Master of the Game j0187_ #第五章 # 遊戯名人 <複雑適応系>としての世界
e0145_ Perpetual Novelty j0188_ 不断の斬新さ
!!!!!!! e0147_ the system can never get there. It is always unfolding, always in transition. In fact, if the system ever does react equilibrium, it isn't just stable. It's dead. And by the same token, said Holland, there's no point in imagining that the agents in the system can ever ``optimize'' their fitness, or their fitness, or their utilty, or whatever. The space of possibilities is too vast; they have no practical way of finding the optimum. The most they can ever do is to change and improve themselves systems are characterized by perpetual novelty. Multiple agents, building blocks, internal models, perpetual novelty---talking all this together, said Holland, it's no wonder that complex adaptive systems were so hard to analyze with standard mathematics. Most of the conventional techniques like calculus or linear analysis are very well suited to describe unchanging particles moving in a fixed environment. But to really get a deep understanding of the ecnnomy, 04354342016/09/16(金) 01:02:57.30ID:IMPbLUQS or complex adaptive systems inageneral, what you need are mathematics and computer simulation techniques that emphasize internal models, the emergence of new building blocks, and the rich web of interactions between multiple agents. j0191_ 複雑適応系はつねに進展し、つねに変化している。 もしそのシステムが均衡状態に達してしまったら、 それは安定ではなく死んでいるのだ。そしてその ことでいえば、システム内のエージェントはその 適応や有用性といったものを「最適化」できる、 などと考えるのは無駄だ、とホランドはいった。 可能性の空間は莫大であるから、最適を見いだす 方法は事実上存在しない。エージェントができる 最善の策は、他のエージェントがやっていることと 関連させながら、みずからを変え、改善していく ことである。要するに、複雑適応系を特徴づけて いるのは、この不断の斬新さである。 多種多様なエージェント、構成要素、内部 モデル、不断の斬新さ---これらすべてを考えに 入れれば、複雑適応系を標準的な数学で解析する ことが困難なのは当然だ、とホランドはいった。 なるほど、微積分や線形解析のような伝統的手法は 固定環境の中を動く不変の粒子を記述するには最適 である。しかし経済を、あるいは一般的な 複雑適応系を深く理解する上で必要なものは、内部 モデルを、新しい構成要素の創発を、そして多数の エージェントの相互作用の豊穣な網を強調する ような数学とコンピュータ・シミュレーション である。 04364342016/09/16(金) 01:04:00.44ID:IMPbLUQS !! j0192_ アーサーはいう。「ホランドは、私が何年も自分に問い かけてきたあらゆる種類の問題につぎつぎと答えていた。 適応とは? 創発とは? そればかりか、問いかけてきたこと 自体を自分自身が気づいていないような多くの問題にも だ」。 j0192_ 黒縁メガネの奥から少々皮肉めいた j0193_ ぜひ彼らに気に入ってもらいたい。なぜなら !!!!!! e0149_ Within months they were talking about the institute's program being not just complex systems, but complex ```adaptive''' systems. j0193_ 数ヶ月のうちに彼らはこういいはじめていた。 研究所のプログラムは単なる複雑系ではなく、 複雑な<適応>系であるべきだ、と。 !!!!! e0149_ Holland's personal intellectual agenda---to understand the intertwining processes of emergence and adaptation--- j0193_ ホランドの個人的な知的研究計画--- 創発と適応が相互に絡み合ったプロセスの理解--- !!!!!! e0149_ But, then, Holland was almost always cheerful. He possessed the guileless good humor of a genuinely happy man who was doing what he genuinely wanted with his life---and who still seemed amazed at his good fortune. 04374342016/09/16(金) 01:05:28.96ID:IMPbLUQS j0194_ だがそれでも、ホランドはほとんどいつも陽気 だった。自分のしたいことをしている、そしていま も自分の好運に驚いている---そう感じている人間が もつ心地よいユーモアが、ホランドにはあった。 !!!!!! e0150_ And that night, as the two of them were sitting around the kitchen table, Holland put the question to him straight: ``Brian, whatt is the real problem with economics?'' ``Chess!'' replied Arthur, without thinking.
j0195_ そしてある晩、二人でキッチンテーブルに座って いるとき、ホランドが彼に突然こう質問した。 「ブライアン、経済学の本当の問題ってなにかね?」 「チェスだよ!」と、即座にアーサーは答えた。 !!!!!!!! e0151_ Even the greatest chess masters are always exploring their way in chess, as if they were descending into a deep, deep set of caves with a tiny lantern. Of course, they do make progress. As a chess player himself, Holland knew thatt a grand master from the 1920s wouldn't stand a chance against a contemporary grand master such as Gary Kasparov. But even so, it's as if they had only gotten a few yards down into this immense unknown. That's why Holland would call chess a fundamentally ``open'' system: it is effectively infinite. 04384342016/09/16(金) 01:06:19.86ID:IMPbLUQS j0197_ だから最高のチェス名人といえども、つねに研究を 重ねている。ちっぽけなランプをかざし、奥深い 洞窟の迷路に入っていくかのように。もちろん進歩 はある。みずからチェスをやるホランドによれば、 一九二〇年代の名人は、ゲーリー・カスパロフの ような当代の名人にとても太刀打ちできないと いう。しかしそれでも、その進歩たるや、この広大 な未知の領域に歩を数メートル進めたようなもので しかない。だからよくホランドは、チェスは基本的 には「開いた」システムだといっていた。実質的に 可能性は無限、ということである。 e0151_ The Immense Space of Possibilities j0197_ 可能性の広大な空間 !!!!!! e0152_ And yet somehow, very early on, this business of games began to be more than just fun for him. He began to notice that certain games held a peculiar fascination, a magic that went well beyond any question of winning or losing. j0197_ しかしどういうわけか、彼にとってゲームは ほとんど最初からただの楽しみではなかった。 ある種のゲームには特別な魅力、勝ち負けを度外視 した魔力があることに、彼は気づきはじめた。 !!!!! e0153_ At MIT, where Holland arrived as a freshman in the fall of 1946, it didn't take him long to discover that same quality of surprise in computers. 04394342016/09/16(金) 01:09:27.93ID:IMPbLUQS j0199_ 一九六四年の秋に入学したMITで、彼は コンピュータにそれと同じ質の驚きを見いだした。 !!!!! e0156 e_s05_p0156_l017 And more than that, for the more philosophically minded pioneers like Holland, these big, clumsy banks of wire and vacuum tubes were openinf up whole new ways to think about thinking. Computers might not be the ``Giant Brains'' of the more lurid Sunday Supplements. In the details of their structure and operation, in fact, they weren't anything like brains at all. But it was very tempting to speculate that computers and brains might be alike in a deeper and much more important sense: they might both be information processing devices. Because if that were the case, then thought itself could be understood as a form of information processing. At the time, of course, nobody know to call this sort of thing ``artificial intelligence'' or ``cognitive science.'' But even so, the very act of programming computers---itself a totally new kind of endeavor---was forcing people to think much more carefully than ever before about what it meant to solve a problem. 04404342016/09/16(金) 01:10:03.57ID:IMPbLUQS j0203_ そしてそれ以上に、ホランドのような思索的な 先駆者にとっては、あの大きくいかつい配線盤と 真空管群は思考についての新しい考え方を かいま見せてくれるものだった。もちろん、 コンピュータの細かな構造と機能は少しも脳とは 似ていなかった。だが、より深い、そしてより重要 な意味において、コンピュータと脳は似ているの ではないか、どうしてもそう考えたくなった。 どちらも情報処理装置であるだろう。もし そうなら、思考そのものは情報処理の一形態として 理解することができるのではないか。 もちろん当時はだれも、この種のことを 「人工知能」とか「認知科学」と呼ぶことを知らな かった。しかしそれでも、まさにコンピュータ・ プログラミングという行為によって---それ自体が まったく新しい種類のことだったが---問題を解く ということがいったい何を意味するかを、人々は それまでになく注意深く考えざるを得なくなっていた。 j0204_ 当時、答えは少しも明らかではなかった (いまでも 04414342016/09/16(金) 05:24:47.41ID:IMPbLUQS e0160_ Building Blocks j0208_ 構成要素 !!!!!!! e0165_ To Holland, evolution and larning seemed much more like---well, a game. j0215_ ホランドには、進化と学習がゲームのように 思えた。 !!!!!! e0165_ But now Holland was beginning to realize just how prescient Samuel's focus on games had really been. j0215_ いまやホランドは、ゲームに目を向けたサミュエル の先見性に気づきはじめていた。 !!!! e0166 e_s05_p0166_l019 ``The stuff I was doing didn't fit very well in the nice, familiar categories. It wasn't hardware, exactly. It wasn't software, exactlyi. And at the time it certainly didn't fit into artificial intelligence. So you couldn't use any of the standard criteria and come up with a judgment.'' j0217_ 「私がやっていたことは、きちんとしたなじみの 範疇にあまりうまくあてはまらなかった。それは ハードウエアではなかったし、かといって ソフトウエアでもなかった。また当時それは 人工知能にも入らなかった。だから、何か標準的な 基準で判断を下すというようなことが できなかった」 04424342016/09/16(金) 05:26:29.45ID:IMPbLUQS !!!! j0227_ 純粋に実際的な見地からは、プログラムを進化させるという アイディアは少々突飛すぎていた。だがホランドは おかまいなしだった。このことこそ、彼がフィッシャーの 独立遺伝子の仮定の一般化に着手して以来ずっと 探し求めてきたものだった。 # e0174_ Emergence of Mind j0227_ 心の創出 !!!!! e0176_ ``We also felt very strongly that the issues were wider than any one problem. '' j0230_ 「またわれわれの論点はどんな問題よりも幅が広い と、強く感じていた。 」 j0234_ どんな構造がもちこたえどんな構造が崩壊するかという感覚 !!!!!! e0179_ Where does the consiousness come from? , he says, there is an alternative: feed back from the environment. j0234_ いったい意識はどこからくるというのか? と彼はいう。環境からのフィードバックだ。 !!!!!! j0236_ 生物にとって学習は、進化と同じぐらい、基本的なこと だった 04434342016/09/16(金) 05:27:21.62ID:IMPbLUQS !!!!!!! e0184_ he says. ``If you ignore the laws at the next level below, you'll never be able to understand this one.'' j0241_ 「 一つ下のレベルの法則を無視すれば、いまの レベルを理解することはぜったいにできない」と、 彼はいう。 ---- It is (``one of'') the authority of ``the ``world'' is the digital''. !!!!! e0185_ if two of his classifier rules disagreed with one another, then let thom fight it out on the basis of their performance, their proven contribution to the task at hand---``not'' some programmed choice made by a software designer. j0243_ もし二つのクラシファイアの規則が互いに合わない というなら、目前の課題に対するそれぞれの 仕事ぶり、それぞれの貢献度に基づいて--- ソフトウエア考案者によってあらかじめプログラム に組み込まれた選択基準によってではなく--- 勝手にけんかをさせておけばいい。 !!!!! e0186_ , well, that shouldn't be a crisis but an opportunity, a chance for tho system to learn from experience which ones are ``more'' plausible. j0245_ そう、それはけっして危機ではなく、好機なのだ。 どれがよりもっともらしいかをシステムが経験から 学ぶチャンスなのである。 04444342016/09/16(金) 05:28:04.87ID:IMPbLUQS !!! e0190_ Be that as it may, he still maintains that the Commodore made a lot of sense at the time. The campus computers had to be shared, he explains, and that made them a pain: ``I wanted to fuss with the program on-line, and nobody was likely to give me eight hours at a stretch.'' Holland saw the personal computer revolution as a godsend. ``I realized that I could do my programming on ```my''' machine, that I could have it in my own home and be beholden to nobody.'' j0250_ それがどうあれ、彼はいまでも、コモドールを使う ことは当時はいろいろ意味があったと主張する。 ホランドはパソコン革命を神の贈り物だと 思った。「```自分の'''コンピュータで自分の プログラミングができる、しかも自分の家でだれの 目をはばかることなく」 !!!!!!! j0253_ さらにそのシステムは、それが求められていることを 考えれば、信じられないぐらい単純だった。 ---- 2^n 04454342016/09/16(金) 05:28:28.33ID:IMPbLUQS e0194_ A Place to Come Home To j0256_ 戻るべき所 !! j0256_ 参加者たちもいつとははっきり気づかぬうちに、 経済学会議の雰囲気は変わった。三日目になり、 専門用語と戸惑いの壁が取り除かれてからというもの、 会議は活気づきだした。「とてもエキサイティング だった」と、スチュアート・カウフマンはいう。 「まるで幼稚園みたいだった。 」 !!!!!!! j0257_ 皮肉にも、はじめ物理学者たちは数学的抽象性に対して 懐疑的だったが、共通の言葉を授けてくれたのは数学 だった。 j0261_ 一人の科学者が、自分には成功に必要なものが備わっている と思っている 04463852016/09/17(土) 17:35:13.22ID:3E1tr0Z7 e0198_ #6 # Life at the Edge of Chaos j0262_ #第六章 # 生命はカオスの縁に 人工生命の本質
e0200_ Epiphany at Massachusetts General j0265_ “啓示”はマサチューセッツ総合病院で起きた j0266_ ラングトンのプログラミングの腕はまったく独学の域を出る ものではなかった。だが !!!!! e0202_ ``I realized that it must have been the Game of Life. There was something ```alive''' on that screen.
I lost any distinction between the hardware and the process. I realized that at some deep level, there's really not that much difference between what could happen in the computer and what could happen in my own personal hardware---that it wwas really the same process that was goinng on up on the screen. j0270_ 「ぼくに人の気配を感じさせたものは ゲーム・オブ・ライフにちがいない、とそのとき 実感したんだ。スクリーン上には<生きている> 何かがあった。 ハードウエアとプロセスの区別がぼくの頭の なかで完全に消えてなくなっていた。ある深い 04474462016/09/17(土) 17:35:52.42ID:3E1tr0Z7 レベルでは、コンピュータの中で起きることと 自分自身の身体というハードウエアのなかで起きる こととのあいだに、じつはそれほどの違いはない んだということを---つまりそれはこのスクリーン 上でいま起きているのとじつは同じプロセスなんだ ということを---まさに実感したわけだ」 !!!! e0203_ `` The city was sitting there, ```just living'''. And it seemed to be the same sort of thing as the Game of Life. It was certainly much more complex. But it was not necessarily different in kind.'' j0270_ 「 ケンブリッジという町はそこに、まさに <生きて>いる。そしてそれは、 ゲーム・オブ・ライフと同じたぐいのものらしい。 たしかに町の方がずっと複雑にはちがいないが、 しかしだからといって、必ずしも違った種類のもの であるということにはならないってね」 e0203_ The Self-Assembly of the Brain j0270_ 脳の自己集合 e0203_ Not only was the Chris Langton of 1971 almost clueless as to what this feeling meant, he was a long way from being a systematic scholar. His idea of following the scent was to wander alound the library or through bookstores, piching up articles here and there that somehow related to virtual machines, or to emergent, collective patterns, or to local rules makingc global dynamics. And every so often he would take a random cource at Harvard, Boston University, or wherever. 04484462016/09/17(土) 17:36:57.24ID:3E1tr0Z7 j0271_ 一九七一年のクリス・ラングトンは、あの時 感じとったことの意味について、ほとんど手がかり をつかめていなかったばかりか、体系的知識を 身につけた学者とはお世辞にもいえない存在 だった。例の匂いを追いかけるというやりかたも、 具体的には、仮想マシン、創発的・集合的 パターン、あるいは大域的な変化を生み出す局所的 規則といったものにいくらかでも関係のありそうな 文献をあさって、図書館や書店をめぐり歩くことに 他ならなかった。またときどき、ラングトンは ハーヴァードやボストン大学やその他色々なところ で、これはと思うコースを手あたりしだいに受講 した。 !!!!!!! e0209_ says Langton. He did wake up, But it was a long time before he was coherent. ``I had this weird experience of watching my mind come back,'' he says. ``I could see myself as this passive observer back there somewhere. And there were all these things happening in my mind that were disconnected from my consciousness. It was very reminiscent of virtual mactines, or like watching the Game of Life. I could see these disconnected patterns self-organize, come together, and merge with ```me''' in some way. I don't know how to descrime it in any objectively verifiable way, and maybe it was just a figment of all these funny drugs they were giving me, but it was as if you took an ant colony and tore it up, and then watched the ants come back together, reorganize, and rebuild the colony. ``So my mind was rebuilding itself in this 04494462016/09/17(土) 17:40:14.79ID:3E1tr0Z7 absolutely remarkable way. And yet, still, there were a number of points along the way when I could tell I wasn't what I used to be, mentally. There were things minning---though I couldn't say what was missing. It was like a computer booting up: I could ```feel''' different levels of my operating system building up, each one with more capability than the last. I'd wake up one morning, and like an electric shock almost, I'd sort of shake my head and suddenly I'd be on some higher plateau. I'd think, `Boy, I'm back!' Then I'd realize I wasn't really quite back. And then at some random point in the feture, I'd go through another one of those, and--- am I back yet or not? I still don't know until this day. A couple of years ago I went through another one of those episodes, a fairly major one. So who knows? When you're at one level, you don't know what's at a higher level.'' 04504462016/09/17(土) 17:41:32.96ID:3E1tr0Z7 j0281_ 結局ラングトンは意識を取り戻した。だが、 正常な精神状態に戻るまでにはかなりの時間が かかった。「自分の精神がよみがえってくるのを 観察するという、妙な経験をしたよ」とラングトン はいう。「どこか意識の裏に、見せられるがままに 何かを観察している自分がいるのがわかるんだ。 そして、そういったたぐいのあらゆることが、自分 の意識から切り離された状態で、精神のなかで 起きていた。仮想マシーンを思い出させると いうか、ゲーム・オブ・ライフを見ているような 感じといったらいいのか。こうした、意識から 切り離されたいくつものパターンが自己組織化し、 寄り集まって、何らかの形で<このぼく>と一体に なるのがよくわかった。このことを客観的に証明 できる形でどう説明したらいいのか、ぼくには わからないし、もしかしたら、あのときは、聞いた こともないいろんな薬で薬漬けになっていたから、 そのせいで起きた幻覚にすぎないのかもしれない けど、とにかくそれは、たとえていえば、いったん アリのコロニーをめちゃめちゃに壊しておいて から、アリたちが寄り集まってきてコロニーを 再組織化し、再建するようすを観察しているみたい だったよ」 ラングトンはさらにこう続ける。「ともかく、 ぼくの精神はこういうきわめて驚くべき仕方で 自己を再建していった。しかもその過程で、これは 以前のぼくではないよ、といえるような瞬間が 04514462016/09/17(土) 17:42:04.23ID:3E1tr0Z7 いくつもあった。自分の精神、という意味でね。 何かが抜けおちていたんだ---だが何が抜けおちて いたのかはわからなかった。その過程は、まるで コンピュータが立ち上がっていくのを見ているよう だった。ぼくのオペレーティング・システムが つぎつぎにいろいろなレベルで、しかも新しい レベルに移るたびに能力的にレベルアップされる ようにして形成されるのを```感じる'''ことが できたんだ。ある朝、目をさます。まるで 電気ショックでも受けたみたいに、首をかすかに 振る。と、いきなり、どこか前よりも高いところに いる。ぼくはこう思う。『やった、帰ってきた んだ!』。ところがそれから、自分が本当の意味で もとのところに帰ってきたのではないことに気が つく。それから時間がたって、いつかまた予期 しないときに、同じようなことをまた体験して、 こうこう思う---やっと帰ってきたか、いや、 それともまだか。いまになっても、ぼくにはまだ わからない。二年ほど前、また同じような場面を 体験した。それもかなり決定的なやつだ。だが、 それがどうだっていうんだ? あるレベルにいる ときには、それより高いレベルがどんなだかは わからないんだから」 04524462016/09/18(日) 10:09:18.07ID:mWLzYRiG e0211_ Artificial Life j0284_ 人工生命 !!! e0211 e_s06_p0211_l032 Langton he says, `` Also, my mental state was such that I'd find myself rambling a lot. I'd get off on tangents of whatever the conversation was, and suddenly realize that I didn't have a clue of where this conversation had started from. My attention span was fairly narrow. So I felt mentally a freak, and physically a freak.'' j0284_ とラングトンはいう。 「 それにぼくの精神は、まだ自分でも ふらついているのがわかるといった状態だった。 人と話していても、知らないまに脇道に それてしまい、やがて、そもそもの会話が 何の話だったのか皆目見当がつかなくなっている ことに、突如として気がつくんだ。 ぼくの注意力が及ぶ範囲は、じつに狭かった。 そんなわけで、ぼくは自分が精神的に できそこないのように感じたし、 また肉体的にもできそこないだと思った」 04534462016/09/19(月) 17:14:58.21ID:aT43PO63 e0222_ The Edge of Chaos j0301_ カオスの縁 !!!!!!! e0222 e_s06_p0222_l025 ``The people in the anthropology department didn't know about computers, period, let alone cellular automata. `How is this any different from a video game?' j0302_ ましてセル・オートマトンなんか知らなかった。 『ビデオ・ゲームとどこがちがうんだい?』と いった調子だ。 ---- In scientific way, there is no difference between cellular automata and video game. We are playing video game to appreciating ``the edge of chaos''. !!!! e0222 e_s06_p0222_l030 So when you tried to paint the whole picture---hey, you sounded like a complete, babbling idiot. j0302 _ そこで、全体像がわかるようにくわしく説明しよう とするんだが---自分でもおかしかったよ、あれじゃ まるで、完璧なばかのおしゃべり野郎だ」 !!!!!! e0223 e_s06_p0223_l014 However information is proceed is worthwhile understanding. j0303 _ 情報というものはどのような仕方ででも処理される ものだという認識、これはすごい英知だよ。 j0303_ おたくらがそのために存在し 目的、 これぞまさに、私が追求してきたこととどんぴしゃりだ 04544462016/09/19(月) 17:17:29.30ID:aT43PO63 !!!!!! j0310_ λの値が〇・五〇を越えると「生」と「死」の役割が逆転 して 一・〇になると、またクラスIの状態に !!!! j0315_ カオスの縁 ! j0320_ 「決定不可能性定理」がそれだ。 e0235_ Go, Go, Go, Yes, Yes! j0323_ いいぞ、いいぞ、突っ走れ! !!!!!! e0235_ ``I don't really know how to describe it,'' admitted Langton. ``I've been calling it artificial life.'' j0323_ 「どういったらいいのか、よくわからないんだが」 とラングトンはいった。自分では以前から人工生命 と呼んできたんだ」 !!!! e0237_ : people just like he had been, lonely souls trying to follow this bizarre scent all by themselves without quite knowing what it was, or who else might be doing it too. j0326_ 、あの妙な匂いを、それが何であるのかもよく わからずに、またほかにも同じようにそれを 追いかけている人がいるかどうかもわからない まま、たった一人で追いかけていこうとしている 孤独な魂がどこかで息づいている。 j0327_ マンアワーでいえば一人月 04554462016/09/19(月) 17:18:02.41ID:aT43PO63 !!! j0328_ コンピュータ・ウイルスがほんとうに「生きている」のか !! j0329_ だれもが『ここには何かあるはずだ』という感じを いだいていた。 !!!!!! e0239_ And more than that, it was fascinating to see how the same theme kept cropping up again and again: in virtually every case, the essence of fluid, natural, ``lifelike'' behavior seemed to lie in such principles as bottom-up rules, no central controller, and emergent phenomena. j0330_ そしてさらにすばらしかったのは、同じテーマが 繰り返し繰り返し、何度でも持ち出されたこと だった。それもほとんどすべての場合、流動的で 自然な「生物のような」振る舞いの本質が、 ボトムアップの原則、中央の制御によらない システム、創発的現象といったものに依存している ことが示唆された !!!!!! e0239_ he says. ``Because it was only after having listened to all these other ideas that people could see more clearly what they had bbeen thinking. j0330_ 「だって、ほかの人のアイディアを全部聞いたあと でなければ、自分が考えてきたことがいったい 何だったのか、より明確な像を描くことは できなかったからね」 04563852016/09/20(火) 22:48:35.78ID:6OGBdxmX e0241_ #7 # Peasants Under Glass j0331_ #第七章 # ガラス箱の中の経済 株を売買するコンピュータ
j0334_ 二週間か三週間前までは全員が物々交換を e0243_ The Fledgling Director j0335_ 駆け出しのディレクター e0247_ The Santa Fe Apploach j0341_ サンタフェ流アプローチ !! j0343_ そもそもサンタフェ研究所自体が創発的現象だ !!!!! e0249_ You grab them by the brains instead of by the balls.'' j0344_ 急所をつかむかわりに、脳ミソをつかまえるんだ !!!! j0344_ 木陰のパティオでは、自由な討論の輪ができては消え、 できては消え !!!! j0347_ それらはすべて、エージェントが何を経験するかに かかっている。 !! j0350_ 学習と適応がキーワード 04574562016/09/20(火) 22:50:06.63ID:6OGBdxmX e0256_ The Darwinian Principle of Relativity j0355_ ダーウィンの相対性原理 ! j0355_ 議論を重ねていくうちに、ホランド自身、自分の研究の方向 を大きく転換させたいと思うようになってきた事だった--- !! j0356_ 『 しかし 進化論というのは、どこか すべてがまったくの偶然から生じたなんて、絶対に ありえない』 !!!!! j0357_ 進化というものに、単なるランダム はるかに越える何かが !!!!!!! e0258_ , he thought. But what about chemical catalysis, which is decidedly non-random? j0358_ 、とホランドは考えた。しかし、そこに化学触媒が あったとしたら?触媒が関与する反応は、決して ランダムとはいえない。 ---- And ``all things'' are ``catalysises''. !!!!!! j0359_ ランダムな反応だけで事を進めようとするシステムよりも ずっと速いスピードでつくりだす、という定理だった !! j0361_ 共進化という見方をすることで、カオスを克服できるような 気がする、と !!!!! j0368_ そして勝ったのはまたしてもTIT FOR TATだった 04584562016/09/20(火) 22:50:54.56ID:6OGBdxmX e0267_ Wet Labs for the Mind j0373_ 知の海中実験室 !!!! j0385_ まさに暴騰と暴落だ! 「すぐに、われわれはこのシステムの持つ創発的な 性質のかすかな兆しを見たことに気がついた」と アーサーはいう。「それは<生命>のかすかな兆しだった」 04593852016/09/21(水) 17:39:13.48ID:oXyswuUP e0275_ #8 # Waiting for Carnot j0386_ #第八章 # カルノーを待ちながら <新しい第二法則>誕生の予感
e0276_ The A-Life Papers j0387_ 人工生命の論文集 !!!!!! j0391_ ひとたびこれを受け入れてしまえば、生物が「生きて いること」の根源もまた、ソフトウエア---分子そのもの ではなく、分子の組織化のありかた---にあることを 認めるまでにあとほんの一歩だ、とラングトンは、 十八年近くも前にあのマサチューセッツ総合病院 で起きた自分自身の啓示体験をなぞるように書いている。 !!!!!! j0394_ 最後に、ワークショップでの発表から読み取るべき 三つ目の素晴らしいアイディアがあった、とラングトンは 書いている。それは、生命が分子というよりむしろその 組織化のあり方に固有なものであるという意味において、 単にコンピューテーションに「似ている」のではない という考え方だ。生命は文字通りコンピューテーション 「そのもの」なのである。 j0396_ それらがもたらすPTYPEの振る舞いを予測するのが--- たとえ原則的にも---不可能だから 04604592016/09/22(木) 23:54:55.21ID:PmVnGSgy e0284_ The New Second Law j0401_ 新しい第二法則 ! j0404_ 同時に小さなスケールではしだいに「非」組織化 されつづけている e0288_ ``Emergence'' j0407_ 創発 e0292_ ``The Edge of Chaos'' j0413_ カオスの縁 e0294_ ``The Growth of Complexity'' j0416_ 成長する複雑性 !!!!!! j0419_ 自動触媒セット・モデル すばらしいことがいくつかあるが、その一つは、 創発をそもそもはじめからたどっていける事だ、と ファーマーはいう。 j0419_ 現実の化学実験で わかれば、生物と無生物の中間にある何かを つくれるんだが 04614592016/09/22(木) 23:56:16.54ID:PmVnGSgy e0299_ The Arc of a Howitzer Shell j0423_ 曲射砲弾の弾道 !!!!!!! j0435_ 理解と予知とは別の事柄なのだ j0435_ それは結局、なだれをどこかよそへ移しているだけの話だ j0438_ ある会社の 新しい世代が新しいアイディアを引っさげて あとを継ぐかも ! j0441_ 生物を下降方向に動かす突然変異は死滅に向かう ものだからだ ! j0444_ そこを脱出して主峰をめざすすべがない !!!!!!! e0314 e_s06_p0314_l016 Fontana started with one of those cosmic observations that sound so deceptively simple. When we look at the universe on size scales ranging from quarks to galaxies, he pointed out, we find the complex phenomena associated with life only at the scale of molecules. Why? j0447_ クォークから銀河にいたるまでさまざまなスケール で宇宙を見ると、生命とかかわりのある複雑な現象 は分子のスケールでのみ観測される、 とフォンタナは指摘した。 !! j0448_ 化学をその最高純度の本質 04624592016/09/22(木) 23:57:19.33ID:PmVnGSgy !!!! j0452_ するとこんどは、この増殖していくものどうしが 相互作用をして、さらに高いレベルの自動触媒セット が生まれてくる。「こんなふうにして低次のものから 高次のものへと、階段状の発展が見られることに なる---その各ステップで、いまいった自動触媒作用 の相転移のような何かが起きているということだ」 !!!!! j0454_ しかし正直なところ、こういった話には、いまの ところ直感の域を出るものは何一つない、と カウフマンはいう。「だが私には正しいような気が する。ともかく、新しい第二法則のつぎのステップ は、より高いレベルへ向かうこの階段の自然界に おける展開を理解することだ。最も短時間で 立ち現れ、最も多くの流れを取り込むものが、ある 独特の分布をもっていまわれわれの目の前にある ものだということを示せさえすれば、それでいいんだ」 04634592016/09/24(土) 09:36:11.80ID:0njKRplb e0318_ At Home in the Universe j0454_ 宇宙の申し子 !!!!!!!! e0321_ ``For example, suppose that these models about the origin of life are correct. Then life doesn't hang in the balance. And that means that we're at home in the universe. We're to be expected. How welcoming that is! How far that is from the image of organisms as tinkered-together contraptions, where everything is bits of widgetry piled on top of bits of ad hocely, and it's all blind chance. In that world there are no deep principles in biology, other than random variation and natural selection; we're not at home in the univerce in the same way. j0459_ 「たとえば、生命の起源についてのこうしたモデル が正しいとしよう。すると生命は、まったくの偶然 で生まれてきたものではないということになる。 われわれは生まれるべくして生まれてきた。 なんと喜ばしいことか! すべてがまったくの偶然で 決まるような、そういう不細工に組み上げられた 珍妙な装置としての生物体のイメージとはまるで 違う。そういう世界では、われわれはさっきいった ような意味での宇宙の申し子だとはいえない」 ---- BTW, ``random'' cannot make the ``thing''. The ``thing'' has methodically. 04644592016/09/24(土) 09:36:38.44ID:0njKRplb !!!!!!!!! e0321_ We aren't victims and we arent outsiders. We are part of the universe, you nad me, and the goldfish. j0459_ 被害者でもなければ傍観者でもない。われわれは 宇宙の一部なんだ。あなたも私も、そして金魚も。 !!!!!!!! e0322_ says Kauffman. ``Matter has managed to evolve as best it can. And we're at home in the universe. It's not Panglossian, because there's a lot of pain. You can go extinct, or broke. But here we are on the edge of chaos because that's where, on avarage, we all do the best.'' j0460_ さらにカウフマンはこういう。「そう、これは われわれ自身の物語なんだ。いまに至るまで、進化 は最良の道を歩んできた。絶滅もあれば破産も ある。しかし、われわれがいまカオスの縁に いるのは、そこがおおむね、われわれみんなが ベストをつくせる場所だからだ」 e0322_ Roasted j0460_ さんざんな目に 04653852016/09/25(日) 00:19:54.50ID:a7u+8KXH e0324_ #9 # Work in Progress j0463_ #第九章 # その後のサンタフェ研究所 二十一世紀の地球のための科学
e0324_ The Tao of Complexity j0464_ 複雑さの道 (タオ) !!!!! j0467_ だから、この新しいアプローチは標準的アプローチに対する 相補的なものだ。 !!!! e0327_ `` The heavens were also complex. The trajectories of the planets seemed arbitrary. j0468_ 「 天空も複雑だった。惑星が動く道筋は 気まぐれに変わっているように思われた。 !!!!!! j0472_ 「マルティン・ハイデガーはかつて、哲学の基本問題は <存在>だといった」とアーサーはいう。「 そもそも意識というものがなぜ可能なのか?」。 !!!!!! j0473_ つまり世界は、変化するパターン、 !!!!!!! j0474_ 観察して観察して観察しつくすこと !! j0474_ かかってくるにまかせる---そしてすれちがいざまに、 急所に一撃をくらわせる 04664652016/09/25(日) 00:20:48.67ID:a7u+8KXH !! j0477_ 問題にすべきは協調と相互順応---家族全体にとってよい ことは何か---ということであるはずだ」 !!! j0478_ とアーサーはいう。彼によれば、研究所の役割は われわれがこのたえず変化しつづける川を眺め やすくし、いま見ていることを理解しやすくする ことにあるという。 !!! j0479_ 「だから、私にいわせれば、サンタフェ研究所の 賢い使い方は科学をやらせておくことだ。 e0335_ The Hair Shirt j0481_ 修道僧の毛衣 !!!!!!!!! e0342_ , says Cowan, ``What we're still waiting for---it may take ten or fifteen years---is a really rich, vigolous, general set of algorithmic approaches for quantifying the way complex adaptive agents interact with one another,'' he says. j0491_ 「われわれがまだ手に入れてないもの---手に入れる まで十年かかるか十五年かかるかわからないが--- それは、複雑な適応的エージェント同士の相互作用 の様子を定量化するための、本当に豊かで強力な 一般的計算の手法だ」とコーワンはいう。 ---- Mr Anderson, Mr Wolfram, and I think ... !!!!!! j0491_ といった調子だ。しかし実証は不可能なんだ 04674652016/09/26(月) 21:57:11.97ID:uue/9uhM !!!!!!! j0493_ 研究所は常任研究スタッフが「いない」おかげで、 いる場合よりずっとうまくいっているのかもしれない というのである。「その利点というのは、目論み どおりにいっていた場合より柔軟さが増したという ことだ」とコーワンはいう。 !!!!! j0500_ とゲルマンはいう。「宇宙の単純な法則とその確率的 な特性が課題全体の根底にあるように私には思える。 うん、それに情報と量子力学の本質的な部分が からんでくる。 j0500_ だが、単純性の研究に反対する猛烈な圧力が !!!!! j0501_ それと、それを構成しているところの基本原理だ !! j0507_ 個人のノイローゼを治すのが容易ではないのと同じ ことが、社会のノイローゼについても !!!!! e0356_ Stability, as John Holland says, is death j0513_ 安定というのは、ジョン・ホランドがいっている ように死を意味している !!!!!!! j0515_ コーワンはいう。「 これは私にとっては、 細分化されてしまった科学という一つの大きな企てを 再構築すること、つまり、物理学の分析力と厳密さを 社会科学者や人文学者のヴィジョンと再び結びつける ことを意味しているんだ」 04684652016/09/28(水) 00:04:03.12ID:wCqgjfuU e0357_ A Moment in the Sunlight j0515_ 陽光を浴びて e0358_ , but---well, there wouldn't be many more lunchtimes on the sun-drenched patio. j0517_ だが、そう、太陽をいっぱいに浴びたパティオで 昼休みを過ごす機会は、もうあまり残されていない ことになる。 !!!!!! e0359_ The interview quickly turned into a general bull session. j0517_ インタヴューはたちまち自由な討論の輪に 変わった。 !!!!!! e0359_ Everyone had opinions, and no one seemed to be perticularly shy about offering them. j0517_ みんなが意見を持ち、それを表明するのにだれも これといって気おくれしているようすはなかった。 ! j0518_ 創発にはいくつか<種類>があるのか? 04693852016/09/28(水) 20:40:53.69ID:wCqgjfuU j0519_ 訳者あとがき
- PowerXCell 32ii (2 x PPE' + 32 x SPE') is replaced by PowerXCell 32iv (4 x PPE' + 32 x eSPE) - higher frequency (~3.8GHz) - 100% backword compatible - Performance on PPE significantly better - Performance per SPE equal or better (Significantly better on applications that benefit from new instructions) - Better inter-SPE latency - More on-chip memory (Is it mean LS will be larger than 256KB?) - Better main memory latency and bandwidth
ワンショット学習のためのマッチングネットワーク 著者: オリオールVinyals 、 チャールズ・ブランデル 、 ティモシーLillicrap 、 Koray Kavukcuoglu 、 大安Wierstra (Submitted on 13 Jun 2016) (2016年6月13日に提出)
要約: ry 本研究では、深い神経機能に基づいて計量学習からと外部メモリとのニューラルネットワーク を強化する最近の進歩からのアイデアを採用 ry 私たちのフレームワークは、新しいクラスのタイプに適応するための微調整を不要に、 そのラベルに小さなラベルされたサポートセットと非標識の例をマッピングするネットワークを学習します。
HIERARCHICAL TEMPORAL MEMORY including HTM Cortical Learning Algorithms
VERSION 0.2, DECEMBER 10, 2010 Numenta, Inc. 2010
Use of Numenta’s software and intellectual property, including the ideas contained in this document, are free for non-commercial research purposes. For details, see http://www.numenta.com/software-overview/licensing.php
Hierarchical Temporal Memory (HTM) は、新皮質がこの様な機能を発揮する様子を モデル化する技術である。 HTM は人間と同等あるいはそれ以上の多くの認識性能 ry
ry 1章は HTM ry 階層構造 ry 、疎分散表現1、時間的な変化に基づく学習 ry 2章は HTM 大脳皮質性学習アルゴリズム2 ry 3章と第 4 章は HTM 学習アルゴリズムの疑似コードを、 空間プーリング及び時間プーリングの2つのパート ry 第2章から第4章を読めば、熟練したソフトウェア技術 ry 実装して実験 ry
1 sparse distributed representation。本書を理解する上で重要な概念だが、 冒頭で述べられているように、残念ながら本書では説明されていない。 理論的基礎は Pentti Kanerva 著 Sparse Distributed Memory に詳しい。 Kanerva 氏は Jeff Hawkins 氏が設立した Redwood Neuroscience Institute (現在は Redwood Center for Theoretical Neuroscience)の研究員。 2 HTM cortical learning algorithms 05485472016/11/11(金) 13:29:50.80ID:TfAJHR6G Page 9
ソフトウェアのリリース
ry ソフトウェアリリースは 2011 年中頃を予定している。
以前の文書との関係
HTM 理論の一部は 2004 年の On Intelligence3、Numenta 社から発行された ホワイトペーパー、Numenta の従業員が執筆した論文など ry 2章から第4章で述べている HTM 学習アルゴリズムは、これまで発表されたことはない。 この新しいアルゴリズムは、Zeta 1 と呼ばれていた我々の第一世代アルゴリズムを置き換 ry 新しいアルゴリズムのことを “Fixed-density Distributed Representations” ないし “FDR” と呼んでいた ry HTM 大脳皮質性学習アルゴリズム4、あるいは単に HTM 学習アルゴリズムと呼んでいる。
我々は、Numenta 社創設者の一人である Jeff Hawkins と Sandra Blakeslee によって書かれた On Intelligence ry この本は HTM という名前で述べてはいないものの、 それは HTM 理論とその背景にあるニューロサイエンスについて、 読みやすくかつあまり技術よりにならずに説明している。On Intelligence が執筆された当時、 我々は HTM の基本原理を理解していたが ry 実装する方法を知らなかった。 ry
Numenta 社 ry
Numenta, Inc. (www.numenta.com)は HTM 技術を商業的ないし学術的利用のため ry 進捗及び発見を完全に文書化している。我々はまた、我々が開発したソフトウェアを 他の人が研究目的や商業目的で利用できるように提供 ry アプリケーション開発コミュニティが立ち上がることを支援 ry Numenta 社のソフトウェアや知的所有権を研究目的で自由に利用
ry 小さなサブセットを実装 ry 今後より一層多くの理論が実装されるだろう。 現在我々は、新皮質の商業的ないし科学的価値のうちの十分なサブセットを実装したと信じる。
HTM のプログラミングは伝統的なコンピュータプログラミングとは異なる。 ry HTM はセンサーから得られたデータの流れに触れることで訓練される。 HTM の能力はそれがどのようなデータに触れたかによって ry
ry 「ニューラルネ ry 」という用語は非常に多くのシステムで用い ry 不用意に使えない。 HTM がモデル化するニューロン(HTM ではセル5と呼ぶ)は、 カラム6、層7、リージョン8、階層構造9の中に配置 ry HTM は基本的にメモリベース ry 。HTM ネットワークは時間的に変化する たくさんのデータによって訓練され、多くのパターンとシーケンス10の蓄積に依存している。 データを格納及びアクセスする方法は、一般にプログラマが使用する標準的なモデルとは論理的に異 ry 。伝統的なコンピュータメモリはフラット ry 時間に関する概念を持たない。 ry
ry 。HTM のメモリは階層的な構造であり、時刻の概念が内在している。 情報は常に分散型の様式で保存される。HTM の利用者は階層のサイズを指定し、 何に対してそのシステムを訓練するのかを決める。 ry
HTM ネットワークは ry 、階層構造、時間と疎分散表現( ry )の主要機能を包含する限り、 我々は汎用的なコンピュータを使ってモデル化することができる。 我々はいずれ、HTM ネットワークに特化したハートウェアを作ることになる ry
本書では我々は HTM の特徴と原理を、人の視覚・触覚・聴覚・言語・行動を例にして表す。 ry 。しかしながら、HTM の能力は汎用的であることを心に留め ry 。HTM は学習と予測の機械であり、様々な種類の問題に適用可能である。
HTM 原論
ry なぜ階層的な組織が重要なのか、HTM のリージョンはどのように構成されるか、 なぜデータを疎分散表現で格納するのか、なぜ時間ベースの情報がクリティカルであるのか。
階層構造 ry 。リージョンは HTMにおける記憶と予測の主要構成要素 ry 。 通常、各 HTMリージョンは階層構造の 1 レベルを表す。 階層構造を上がるに伴って、常に集約11がある。 子リージョンの複数の要素が親リージョンの一つの要素に集約 ry 階層構造を下がるに伴って、フィードバック接続による情報の発散12がある。 (リージョンとレベルはほとんど同義 ry 。リージョンの内部的な機能 ry 「リージョン」の用語 ry 、特に階層構造の中でのリージョンの役割を指すときに「レベル」の用語を用いる)
階層 ry 効率 ry 各レベルで学習されたパターンが上位のレベルで組み合わせて再利用 ry 学習時間とメモリ消費を非常に節約する。 説明のため、視覚 ry 。階層構造の最下位レベルでは、 脳は縁13や角などの視覚のごく一部分に関する情報を格納する。 縁は ry 基本的な構成要素である。これらの下位レベルのパターンは中間レベルで ry 曲線や模様などのより複雑な構成要素に集約される。 円弧は耳の縁 ry 車のハンドル ry カップの取っ手 ry 。これらの中間レベルのパターンはさらに集約されて、頭、車、家などの 高レベルな物体の特徴を表す。 高レベルな物体 ry 、その構成要素を再度学習する必要がなくなる。
ry 単語を学習 ry 文字や文節、発音を再度学習する必要はない。
階層構造間で表現を共有 ry 、予期される行動の一般化にもなる。 ry 動物を見 ry 、口や歯を見 ry 食 ry 噛 ry 予測 ry 。階層構造により、 ry 新しい物体がその構成要素が持つ既に分かっている特徴を 引き継いでいることを知ることができる。 05585572016/11/15(火) 17:26:54.57ID:miLjs+zj 一つの HTM 階層構造はいくつの事柄を学習 ry ? 言い換えれば、階層構造にはいくつのレベルが必要 ry ? 各レベルに割り当てるメモリと、必要なレベル数の間にはトレードオフ ry HTM は入力の統計及び割り当てられたリソースの量とから、 各レベルの最適な表現を自動的に学習 ry 多くのメモリを割り当 ry レベルはより大きくより複雑な表現を構成し、 従って必要となる階層構造のレベルはより少 ry 少ないメモリ ry 小さく単純な表現を構成し、 ry レベルはより多 ry
ここからは、視覚の推論14のような難しい問題について述べる (推論はパターン認識と似 ry )。しかし多くの価値ある問題は視覚より単純で、 一つの HTM リージョンでも十分 ry Web ry どこをクリックするか予測 ry 。この問題は、一連の Web クリックのデータをHTM ネットワークに流し込 ry 。この問題では空間的階層構造はわずか ry 。解決策は主に時間的な統計 ry 一般的なユーザのパターンを認識することで、 ry どこをクリックするかを予測 ry
まとめると、階層構造は学習時間 ry メモリ消費を節約し、一般化 ry しかしながら、単純な予測問題の多くは一つの HTM リージョンでも解決 ry
リージョン 階層構造に連結されたリージョン15の表現は、生物学から ry 新皮質は厚さ 2mm ry 。生物学では主にそれらが互いにどのように接続 ry 基づいて、新皮質を異なる領域ないしリージョンに区分けする。 あるリージョンはセンサから直接入力 ry 、他のリージョンは他のいくつかのリージョンを経由 ry 。階層構造を決 ry ージョ ry ョンへの接続関係 ry
新皮質のすべてのリージョンの細部は似 ry サイズや階層構造の中のどこに位置 ry 違 ry 、その他は似ている。 厚さ 2mm の新皮質リージョンを縦にスライスしたなら、6 つの層 ry 。 5 つはセルの層で、1 つはセルではない層である(少しの例外 ry )。 新皮質リージョンの各層はカラム状に数多くの相互接続されたセルがある。
HTM リージョンもまた、高度に相互接続されたセルがカラム状に配列された皮 ry 新皮質の第 3 層はニューロンの主要なフィード・フォワード層である。 HTM リー ry のセルはおおまかに言えば新皮質のリー ry 3 層にあるニューロンと等価 ry
図 1-3 HTM リージョンの区画。 ry 。セルは二次元のカラム状 ry 図では、1 カラム当たり 4 つのセル ry 小さな区画 ry 。各カラムは入力
15 region。体の部位、局部など ry 05625612016/11/18(金) 23:35:37.68ID:fnVQMg28 Page 16
の一部に接続され、各セルは同一リージョン内の他のセルに接続する( ry 図 ry ない)。 この HTM リージョン及びそのカラム構造は新皮質リージョンの一つの層に等価 ry
HTM リージョンは新皮質リージョンのほんの一部と等価であるに過ぎないものの、 複雑なデータ列の推論と予測 ry 多くの問題に有益 ry
疎分散表現 新皮質のニューロンは高度に相互接続しているが、わずかなパーセンテージのニューロン だけが一度にアクティブになるように抑制ニューロンによって保護されている。 よって脳内の情報は常に、数多く存在するニューロンのうちのわずかなパーセンテージ のアクティブなニューロンによって表されている。この様なコード化は「疎分散表現」 ry 「疎」とは、わずかなパーセンテージのニューロンだけが一度にアク ry 。一つのアクティブなニューロンは何らかの意味表現に関わっているが、 いくつかのニューロンの文脈の中で解釈されて初めて完全に意味 ry
ry HTM リージョンの記憶の仕組みは疎分散表現に依存 ry 。 ry 入力 ry 疎であるとは限らないので、HTM リージョンが最初に ry 疎分散表現に変換 ry
ry リージョンが 20,000 ビットの入力 ry 。入力ビットの中の”1”や”0”の割合は、時間と共に非常に頻繁に変化 ry ry 、またあるときは 9,000 個のビットが”1”であったりする。 HTMリージョンはこの入力を 10,000 ビットの内部表現に変換して、 入力 ry の 2%にあたる 200 ビットが一度にアクティブになるようにする。 ry 入力が時間と共に変化するに従って、内部表現もまた変化するが、 10,000 ビットのうち約 200 ビットが常にアクティブになる。
リージョン内で表現可能なものの数よりも起こりうる入力パターンの数の方が ずっと大きいから、この処理によって多くの情報が失 ry 、と思 ry 。しかしながら、どちらの数も途方もなく大きい。 ry どのようにして疎表現を作成 ry 後述する。 ry 情報のロスは ry 問題にならない。 05635622016/11/19(土) 21:31:34.61ID:gXSL1qpI Page 17
図 1-4 HTM リージョンのセルが疎分散的にアクティブ ry
時間の役割 時間は、学習・推論・予測において極めて重要 ry
時間を用いなければ、我々は触覚や聴覚からほとんど何も推論できない。 ry 目が不自由だとして、誰かが貴方の手の上にりんごを置い ry 。りんごの上で指を動かせば、触覚から得られる情報が常に変化しているにも関わらず、 ry 貴方が持つ「りんご」という高レベルの認識 ― は変化しない。しかし ry 手や指先を動かしてはいけない ry レモンではなくりんごであると識別するのは非常に難 ry
同じことは聴覚 ry 。変化しない音はわずかな意味しか持たない。 「りんご」という言葉や、誰かがりんごを噛んだときの音などは、 時間と共に素早く順序的に変化する数十から数百の音階の列 ry
視覚は対照的に、混在したケースである。 ry 一瞬だけ ry でも識別可能 ry 必ずしも時間的な入力の変化を必要としない。しかし ry 常時、目や頭や体を動かしており、物体もまた周囲を動き回 ry 。素早 ry 視覚的変化 の中から推論する我々の能力は、視覚の統計的な特徴と長年の訓練によってもたら 05645632016/11/20(日) 22:51:17.90ID:gBNtPa9o Page 18
される特別なケース ry
学習について見てみよう。 ry HTM システムは訓練の間、時間的に変化する入力に触 ry 。視覚では静的な画像の推論がときには可能なものの、 物体がどのようなものであるかを学習するため ry 変化する様子 ry 犬が ry 走ってくる様子 ry 網膜に一連のパ ry 、数学的に言えばそれらのパターンはほとんど似ても似つかない。 脳はこれらの異なるパターンが同じ ry 順序的な変化を観察することによって知る。 時間はどの空間的なパターンが一緒に現れるかを教えてくれる「先生」である。
センサから得られる入力が変化するだけ ry 無関係な入力パターンが続けて現れても 混乱するだけ ry 。また、ry 、非人間的なセンサも ry 適用できる点にも注意 ry 。もし発電所の温度・振動・雑音のパターンを認識するように HTM を訓練 ry これらのセンサの時間的な変化からもたらされるデータで訓練 ry
ry HTM ネットワークは多くのデータで訓練 ry 。HTM アルゴリズムの仕事は、 データの時系列の流れ ry どのパターンに続いて ry ーンが現れるかというモデルを構築 ry 。この時系列がいつ始まりいつ終わるのかがわからないので、この仕事は難しい。 同時に複数の時系列が重なりあって起こることもある。 学習は継続的に行われ、またノイズがある中で行われなければならない。
シーケンスの学習と認識は予測を形成する基準 ry ーンが他のどのパターンに続くかを HTM が学習すれば、 ry 現在の入力とその直前の入力に対して 次にどのパターンが現れる可能性が高いかを予測 ry
HTM の 4 つの基本的な機能に戻ろう:学習・推論・予測・行動16である。 各 HTMリージョンは最初の 3 ry 、学習・推論・予測を実行 ry しかし ry 行動は異なる。 生物学によれば、多くの新皮質のリージョンが行動を形成 ry しかし我々は、多くの興味深いアプリケーションにおいてこれは重要ではないと信
16 behavior 0565yamaguti~貸2016/11/21(月) 23:55:02.41ID:6/tm5rB/>>554 AI エンジン ハードウェア http://news.mynavi.jp/articles/2016/05/20/deep_insights/001.html > 高効率の人工知能ハードウェアを開発するDeep Insightsを創立 ry > 開発するハードウェアはノイマン型 ry Deep Learningなど ry 大幅に高速化 ry > 7nmプロセスを使って速度と集積密度の双方を上げることで10倍、 > 磁界結合による ry を多チャンネル化(メモリ帯域100TB/s)してダイ上に ry 10倍、 > ダイナミックな計算精度変更を可能にして、低精度演算 ry 10倍 ry 全体では1,000倍 0566yamaguti~貸2016/11/22(火) 23:37:39.81ID:fDw5z9zc > ダイナミックな計算精度変更
学習 HTM リージョンは ry パターンとパターンのシーケンスを見つけることで、 その世界を学習する。 ry 入力が何を表しているのかを「知って」はいない。 ry 統計的 ry 入力ビット ry 頻繁に同時に起こる組み合わせを見ている。 ry これを空間的パターンと呼 ry パターンが時間と共にどのような順で現れるか ry これを時間的パターンないしシーケンスと呼んでいる。
ry 入力が建物の ry センサであるなら、リージョンは建物の北側や南側において、 ある温度と湿度の組み合わせがしばしば起こることを見つけるだろう。 そしてこれらの組み合わせが毎日移り変わる様子を学習 ry
ry 入力があるお店の購入に関する情報 ry 、週末にある種の雑誌が購入される ry 、天候が寒いときはある種の価格帯のものが夕方頃に好まれることを ry
一つの HTM リージョンは学習の能力が限定されている。 ry どれだけのメモリ ry 入力が ry 複雑 ry に応じて何を学習するかを自動的に調整する。 ry メモリが削減 ry 学習する空間的パターンはより単純 ry メモリが増加 ry 複雑になりうる。学習した空間的パターンが単純であれば、 複雑な画像を理解するにはリージョンの階層構造が必要となりうる。 我々はこの特徴を、人の視覚システムに見る ry 。網膜から情報を受け取る新皮質のリージョンは、 視覚的な小さな領域についてだけ、空間的なパターンを学習する。 階層 ry を経由した後にだけ、視覚の全体像を認識する。 05685672016/11/23(水) 12:52:31.78ID:IM1cuRG2 生物的システムと同様に、HTM リージョン ry オンライン学習 ry 新しい入力を受け取るごとに継続的に学習する。 学習 ry 推論が改善されるが、学習フェーズと推論フェーズとを分ける必要はない。 ry
推論 HTM が周囲の世界のパターンを学習すると、新しい入力について推論ができ ry 、以前に学習した空間的ないし時間的パターンと照合 ry 入力が以前に格納したシーケンスとうまく適合 ry が、推論とパターンマッチングの本質 ry
メロディをどうやって理解 ry 最初の音 ry 次の音 ry 十分では ry 普通は3,4,ないしそれ以上の音 ry 。HTM リージョンの推論も似 ry 継続的に入力列を見て、以前学習したシーケンスと照合 ry シーケンスの最初から ry が普通はもっと流動的で、 ry メロディがどこから始まっても貴方が理解できることと似 ry HTM リージョンは分散表現を用いるので ry シーケンスを記憶ないし推論することは上記のメロディの例よりも複雑 ry
貴方がセンサから新しい入力 ry すぐに明確になるとまでは言えないものの、 慣れ親しんだパターンを ry 容易に見つける ry 、例え老人であっても若い人 ry 、ほとんどの人が話す「朝食」という言葉を理解できる。 同じ人が同じ「朝食」という単語を百回発音しても、その音は二度と、 貴方の蝸牛殻17(音の受容体)を正確に同じように刺激することはないにも関わら ry 05715702016/11/27(日) 07:36:49.57ID:vHhUl6EA HTM リージョンも脳と同じ問題に直面する:入力は決して正確に繰り返されない。 さらに、ちょうど脳と同じように、 ry 推論や訓練の最中にも新しい入力 ry 対処する一つの方法は、疎分散表現 ry 。疎分散表現の鍵となる特徴は、パターンの一部
> ry 大きく分けて領野間 ry マクロ・コネクトームと、 ry ニューロン間のシナプス結合を表すミク ry
> 新皮質は6層 ry 、階層内(横方向)はミクロ・コネクトームによる密結合であり、主に時間系列 ry > 。階層間(縦方向)はマクロ・ ry 疎結合であり、主に静的パターンを処理する。 > 最下層では知覚の入力および筋肉への出力が行われ、最上層は意識あるいは論理的思考を司る。 > 階層を上昇する情報はフィードフォワード(FF)あるいはボトムア ry 下降 ry バック(FB)あるいはトップダ ry > 。これらの情報の流れはベイジアンネットワークの性質 ry
> ry 。深層学習におけるバック・プロパゲーションはFBとは別物である。実際の脳ではFB情報が重要 ry > 。FF情報とFB情報は必ずしも対称的ではない。FB情報の方がむしろ多 ry > 。さらに重要なのは階層内からの情報である。下の階層からくる情報は全体の5-10%にすぎない。 > ry HTM理論では階層内の横からの情報は遷移確率のような時間的情報である。 > ry 、ゼータ1ではFBを扱うがCLAでは扱えず、これはCLAの欠点である。
> 新皮質の6層構造間と領野間の情報の流れについても解明が進んでいる。 > 新皮質への情報はまず4層に入り、そこから2/3層に送られる。 > さらに上の階層へは直接の経路と視床を経由する2種類がある。 > 5層は運動を支配している。 > 6層からはFBで1層に入る。 > CLAアルゴリズムでは4層と2/3層は実装されているが、5層と6層は実装されていない。 05765752016/12/02(金) 18:45:32.64ID:HgThED5J > HTM理論の解説 > > ry 発展に伴い実装 ry 。Numentaの資料により初代のゼータ1 から CLA, Gen3, そして将来の Gen4 ry > 。以下では ゼータ1, CLA, Gen3 ry > ゼータ1 ry 、教師なし学習、木構造の階層構造、上の階層ほど空間的・時間的に不変性 ry > 、バッチ学習、学習と推論フェーズの分離 ry > 。学習は階層ごとに行われ、階層を上がるに従い空間プーリングと時間プーリングによ ry 不変性 ry > 。下層から上層へのFFだけでなく、上層から下層へのFBも実装されている。 > Vicarious ではゼータ1を発展させた Recursive Cortical Network 理論が実装 ry CAPTCHA を破る ry > > CLAは神経科学の知見を取り込み、 > 神経細胞の細胞体、基底樹状突起、遠隔樹状突起、尖端樹状突起、軸索などとモデルを対応付けている。 > 新皮質の6層構造において情報は三方向 ry 下の階層、上の階層、同じ階層の横方向から入ってくるが、 > 下からの入力は5%ほどで、残りの95%は上と横 ry 。CLAにおいては遠隔樹状突起を経由しての横方向 > からの入力を扱うことが、通常のニューラルネットワークの理論と異なっている。 > > CLAの主な特徴は、空間プーリング、時間プーリング、SDR (Sparse Distributed Representation, スパース表現) > によるデータ表現である。空間プーリングとは、ry 。時間プーリングとは、 ry 。 > SDR は、一つのパターンを多数のニューロン(コラム)のうちの複数のニューロン(コラム)で表現することで、 > 豊富な表現力と頑強性を実現している。実際の脳ではSDRが採用されている。 > ry 反対に一つのパターンを一つのニューロンで表現する方法は Point Neuron あるいは Localist 表現と呼ぶ。 > SDRの幾何学的表現は、基底樹状突起をHTM空間における短いベクトルとし、 > 下の階層の長いベクトルを多数の短いベクトルの和として表現していると考えられる。 > これをSDRのハリネズミモデル ry モデルの具体例として脳の集団符号化方式がある。 > Gen3 は CLA の後継として Numenta が2014年 ry 05775752016/12/03(土) 12:21:12.63ID:97cte86A>>575-576 http://webcache.googleusercontent.com/search?q=cache:wba-initiative.org/wp-content/uploads/2015/05/20160518-wba14-matuda.pdf05785702016/12/04(日) 17:39:24.40ID:VL9xSNhJ Page 21
分だけをマッチングするだけでほぼ確実にマッチ ry
予測 HTM の各リージョンはパターンのシーケンスを格納する。 ry 現在の入力とマッチングすることで、次に到着すると思われる入力の予測をする。 ry 実際には疎分散表現の間の変遷を記録する。 あるときはその変遷はメロディの中の音に見られるように線形のシーケンスであるが、 一般的な場合は将来入力される可能性があるものが同時に多数予測される。 HTM リージョンはときには長期間に及ぶ過去の文脈に基づいて異なる予測をする。ry 。
HTM の予測の鍵 ry
1) 予測は継続的 ry 貴方は特に意識していなくても継続的に予測 ry HTM も同じ ry 歌 ry 次の音 ry 。階段 ry 足がいつ次の段に触れるか ry 予測と推論はほとんど同じ ry 。予測は分離された処理ではなく ry 統合 ry
2) 予測は階層構造のすべてのレベルのすべてのリージョンで起こる ry 。リージョンはそれが既に学習したパターンについて予測 ry 。言語の例では、低レベルのリージョンでは次の音素を予測し、高レベル ry 単語や句 ry 05795782016/12/04(日) 17:40:14.36ID:VL9xSNhJ 3) 予測は文脈依存 ry 予測は過去に何が起こったか、そして現在何が起こっているかに基づいて行われる。 従って直前の文脈に基づいて、ある入力から異なった予測が行われることがある。 HTM リージョンは必要なだけのより多くの直前の文脈を用いて学習し、 短時間ないし長時間の両方の文脈を保持 ry 可変長記憶18 ry 例えば、暗唱 ry ゲティスバーグ演説19 ry 。次の単語を予
18 variable order memory 19 Gettysburg Address。「人民の人民による人民のための政治」のフレーズが有名。 ”Four score and seven years ago our fathers brought forth on this continent, a new nation, conceived in Liberty, and dedicated to the proposition that all men are created equal...” (以下略) 0580yamaguti~貸2016/12/05(月) 18:56:24.50ID:s5+vq0Ta 第五世代コンピュータ計画 = 大成功
2 > 理論が大事 ry 。やってみたら出来ました、結果が出ましたという研究が多い。 > ディープラーニング ry は、入力情報と出力情報を一致させる同じニューロン数から成る恒等写像を > 作ることを繰り返すのだけど、その際、途中(中間層)でニューロン数を絞るので非線形の情報圧縮が起き、 > ry 圧縮 ry 。だけど、それが何故上手くいって、何をやっているのかを理論的に解明しないと、 > 大きな飛躍にはならないと思います。 ry > 理論研究は世界的にあまり進んでいなくて、みんな使ってみて結果を出すことに熱中
5 > ディープラーニングに関しては、もっと数理をやらないと底が浅い話 ry 危惧 ry > 使ってみたら出来ましたっていう研究 ry も良いと思いますが、 > 僕らは数理の研究者なので、どうして上手くいくのかが分からないと僕らの研究にはならない 05875862016/12/10(土) 01:59:36.18ID:O8le5YJ4http://www.sankeibiz.jp/smp/aireport/news/160605/aia1606050700001-s3.htm > 「ディープラーニングを使って、動的なものすなわち時空間のダイナミクスを扱おうとすると、 > これまで失敗してきたことの繰り返しになると思います。 > ニューラルネットワークを使って、時空間のダイナミクスを扱う研究は何十年もされてきてはいますが、 ry > 。むしろ、そういった時空間情報を扱う手法は、既に数学的に ry 。ディープラーニングは要素技術としては
測するには、現在の単語だけでは全く不十分 ry ”and” の次に “seven” が来ることもあれば、 ry 。ときにはほんの少しの文脈で予測 ry “four score and” と分かれば次の “seven”を予測できる。 他の場合はフレーズが繰り返される場合 ry 、より長い文脈を使う必要がある。
4) 予測は安定化に ry あるリージョンの出力はその予測である。 HTM の特徴の一つは、リージョンからの出力はより安定 ry 。安定とはつまり、階層構造の上位に行くほどよりゆっくりと変化し、長く継続 ry 。リージョンは ry 可能なときは時間軸の複数ステップ先 ry 5 ステップ先 ry 。新しい入力 ry 、新たに予測されたステップは変化するが、 しかしそのうちの 4 つの既に予測されたステップは変化しない。 ry 、出力の一部だけが変化するので、出力は入力よりも安定化している。 ry 。 歌の名前のような高レベルの概念は、 ry 音のような低レベルの概念よりもゆっくり ry
5) ry 、新しい入力が予期されたものか予期しないものかが分かる 各リージョンは ry 、予期せぬ事 ry 知ることができる。 HTM は次の入力として起こりうる ry 一度に多数予測 ry 正確に予測できるわけではないが、 ry どの予測にも一致しないとき、何か普通でないこと ry
6) 予測はシステムをノイズにより強く ry HTM ry 、推論をその予測に従う方向へ向かわせる ry 話し言葉 ry 、次にどんな音が、単語が ry 予測により、欠落したデータを埋め合わせ ry あいまいな音 ry 予測していることに基づいてその音を解釈 ry 、ノイズ ry 推論 ry
ry ニューロサイエンスの用語を使用する。セル22、シナプス23、 シナプス候補24、樹状突起セグメント25、カラム26などの用語 ry 。学習アルゴリズムは理論上の必要に応じてニューロサイエンスの細部に照らし ry 。しかし ry 性能の問題 ry 働きを理解したと感じたときには処理速度を向上させる別の方法 ry 、生物学的な詳細に厳格にこだわるのではなく、同じ結果が得られさえすれば ry ニューロサイエンスの用語 ry としばしば違う ry 。付録 ry HTM 学習アルゴリズムとニューロ生物学的に等価 ry 相違点・類似点 ry
セル状態 ry セルは3つの出力状態 ry 。フィード・フォワード入力によりアクティブな状態、 横方向の入力によりアクティブな状態(これは予測を表す)、アクティブでない状態である。 最初の出力状態はニューロンのアクション状態による短時間のはげしい出力27に相当する。 2つ目の出力状態はもっとゆっくりとした、安定した出力28に相当
22 cell 23 synapse 24 potential synapse 25 dendrite segment 26 column 27 a short burst of action potentials in a neuron 0597yamaguti~貸2016/12/17(土) 01:24:35.33ID:6O1Nu3vi >502 : yamaguti~kasi 2016/12/16(金) 12:12:06.60 ID:2MPdD9+O > 価値貯蔵システム = 記憶システム > ネイティブ記憶システム = ネイティブマスターアルゴリズム
する。 ry これら2つのアクティブ状態以上の詳細なモデル化の必要性はない ry 個々のアクション状態の強さの程度、アクティビティの発生頻度を表すスカラー量 などはモデル化する必要性を見いだせない。分散表現の利用は、 セルのアクティビティの程度を表すスカラー量をモデル化することを凌駕 ry
樹状突起セグメント HTM セルは比較的リアルな( ry 複雑な)樹状突起モデルを持つ。各 HTM セルは理論的に 一つの主要樹状突起セグメント29と 10~20 個の末梢樹状突起セグメント30を持つ。 主要樹状突起セグメントはフィード・フォワード入力 ry 末梢樹状突起セグメントは周辺のセルからの横方向の入力 ry 抑制セルは同じカラム中の全てのセルが 類似のフィード・フォワード入力に対して応答するように強制する。 単純化のため、各セルごとの主要樹状突起セグメントを取り除き、 同じカラム中のすべてのセルで共有する一つの主要樹状突起セグメントで置き換えた。 空間プーリング関数(後述)はカラム単位で、共有の樹状突起セグメントに対して作用する。 時間プーリング関数はカラム中の個々のセル単位で、末梢樹状突起セグメントに対 ry 。生物学的にはカラムに接続するような樹状突起セグメントは存在しない ry この単純化は同等 ry 06026012016/12/20(火) 23:57:21.05ID:ymkk5AtR シナプス ry 二値のウェイトを持つ。生物学上のシナプスは可変値のウェイト ry 確率的・不安定 ry 生体ニューロンはシナプスのウェイト値の正確な値に依存しているはずがない ry 。HTM の分散表現及び我々の樹状突起の計算モデルを利用すれば、 HTM シナプスに二値のウェイトを割り当てても何ら悪影響はないはずである。 シナプスの形成及び切断をモデル化 ry 2つの追加 ry ニューロサイエンスから援用した。 一つ目は、シナプス候補の概念である。これは樹状突起セグメントに十分近い位置を通る すべての軸索を表し、シナプスを形成する可能性があるものである。 二つ目は、永続値である。これは各シナプス候補に割り当てられたスカラー値である。 ry 軸索と樹状突起の間の接続の度合 ry 度合は生物学的には、完全に分離した状態から、 接続はしていないがシナプスを形成し始めた状態、最小限にシナプスが接続した状態、 大きく完全にシナプスが接続された状態に至るまでの範囲を取る。シナプスの
> ry 係数が0になる部分をできるだけ増 ry 計算を簡略化 ry > ─重みづけに使う係数が0になるところを増やして計算をできるだけ簡略化 ry > ry データの特徴を分析して、その枝の部分でも重要な枝 ry 決め打ちで残します。 > ─これは人が残すのでしょうか? > 現時点では人が枝を選別しています。枝を大幅に削減しても性能が落ちない事を理論的に証明 ry > 数字がたくさんあるものは「密な行列」 ry 、従来のディープラーニングと一緒。 > そこで値をほとんど持たない「疎な行列」をどう構成 ry > ─その太い幹っていうのを見切るところがすごく難しそうです。 ry 、どれだけ残して、どれだけ切 ry > ry 、例えば入力のデータに対して主成分となり得るような重要なデータの個数がある程度限定 ry > 、情報を欠損させないで中間層に伝搬させる事は可能 ry 証明 ry 1/30に削減しても同様の効果 ry > ─これはこのデータだからという事はないのでしょうか? > ry 制約条件はありません。 > ─人の顔の認識などデータが複雑だと難しいということはないのでしょうか? > ry 、さっきのガンマに依存しないっていうのは実は驚異的 ry
の疎表現は、抑制の後でどのカラムがアクティブでどれが非ア ry 。例え入力ビットのうちアクティブなビットの数が大幅に変化した場合であっても、 相対的に一定の割合のカラムがアクティブになるように抑制関数が定義される。
図 2-1 カラムとセルからなる HTM リージョンの例。リージョンの一部分のみ ry 。各カラムは入力のユニークな部分集合によるアクティベーションを受け取る。 最も強いアクティベーションを受けたカラムが他の弱いアクティベーションを抑制する。 結果は入力の疎分散表現である。(アクティブなカラムは灰色で示した)
ry ほんの少しの入力ビットが変化したなら、 いくつかのカラムでは少し多く又は少し少ない入力ビットがオン状態になるが、 アクティブなカラムの集合はあまり大幅に変化しないだろう。 よって似た入力パターン(アクティブなビットの共通部分が非常に多いもの)からは アクティブなカラムの比較的安定した集合に対応付けられる。 コード化がどのくらい安定 ry 、各カラムがどの入力に接続しているかに大きく依存 ry この接続関係は、後述する方法で学習する。 これらのすべてのステップ(入力の部分集合から各カラムへの接続関係を学習し、 各カラムへの入力レベルを決定し、アクティブなカラムの疎な集合をえらぶために抑制 ry ) を空間プーリングと呼ぶ。 ry 空間的に類似(アクティブなビットの共通部分が多い)の パターンがプールされる(それらが共通の表現に互いにグループ化される)ことを意味する。 06166152017/01/03(火) 02:58:43.04ID:igW+0jZp Page 28
2) 以前の入力の文脈に基づいて、入力の表現を作成する リージョンで行われる次の機能は、入力をカラムで表現したものを、 過去からの状態ないし文脈を含む新しい表現に変換 ry 。新しい表現は各カラムの一部のセル、普通は1カラムにつき1つのセルを アクティブにすることで得られる(図 2-2)。
「I ate a pear」と「I have eight pears」31の二つの話し言葉を聞く場合 ry 「ate」と「eight」は ry 発音が同じ ry 同じ反応をするニューロンが脳内のどこか ry また一方、 ry 異なる文脈にあると反応するニューロンが脳内の他のどこか ry 。「ate」という音に対する表現は「I ate」 ry 「I have eight」 ry 異なる ry 。 「I ate a pear」と「I have eight pears」の二つの文を記憶したと想像してみよう。 「I ate…」 ry 「I have eight…」 ry 異なる予測 ry よって ry 異なる内部表現 ry
ある入力を異なる文脈では異なるコード変換をするというこの原理は、 認知とふるまいの普遍的な特徴であり、HTM リージョンの最も重要な機能の一つ ry 06176162017/01/03(火) 03:06:42.48ID:igW+0jZp ry カラムは複数のセルからなっている。 同じカラムのすべてのセルは同じフィード・フォワード入力を受け取る。 ry 。アクティブな各カラムごとに、どのセルをアクティブ ry 選択するかによって、 完全に同じ入力に対して異なる文脈では異なる表現をすることができる。 例 ry 。各カラムは 4 つのセルからなり、各入力は 100 個のアクティブなカラムで表現 ry 。カラムの中で一つのセルだけが一度にアクティブであるとすると、 完全に同じ入力に対して 4100 通り ry 。同じ入力は常に同じ組み合わせの 100 個のカラムがアクティブになるが、 文脈が異なればカラム中の異なるセルがアク ry 非常に大きな数の文脈を表現 ry 、これらの異なる表現はどのくらいユニーク ry ? 4100 個の可能なパターンのうちからランダムに選択した 2 個は、 ほとんどの場合、約 25 個のセルが重複 ry よって同じ入力を異なる文脈で表した 2 つの表現は、 約 25 個のセルが共通で 75 個のセルが異なっており、容易に区別 ry
HTM リージョンの一般的な規則 ry カラムがアクティブ ry 、そのカラム中のすべてのセルを見る。 もしそのカラム中の一つ又はそれ以上のセルが既に予測状態であれば、 それらのセルだけがアクティブになる。もしそのカラム
中のすべてのセルが予測状態でないならば、すべてのセルがアクティブになる。 ry :ある入力パターンが期待されるなら、システムは予測状態のセルだけをアクティブ にすることで期待通りであることを確認する。その入力パターンが期待と違うなら、 システムはカラム中のすべてのセルをアクティブにすることで、 「予期しない入力が発生したのであらゆる解釈が有りうる」ということを表す。
もし以前の状態が何もないなら、従って文脈も予測もないなら、 ry になるときは各カラム内のすべてのセルがアクティブになる。 ry 歌の最初の音を聞いたときと似ている。 文脈がなければ、 ry 予測できない:すべての選択肢が有効である。 以前の状態があるが入力が予期したものと合致しないときは、 アクティブなカラムのすべてのセルがアクティブ ry 。この決定はカラムごとに 行われるので、予測 ry は「オール・オア・ナッシング」32ではない。
図 2-2 カラムの一部のセルをアクティブにすることで、 HTM リージョンは同じ入力の多くの異なる文脈を表現 ry 。カラムは予測状態のセルだけをアクティブにする。 予測状態のセルがないカラムでは、カラム中のすべてのセルをアク ry 。図は、あるカラムでは一つのセルだけがアク ry 、あるカラムではすべてのセルが ry
ry HTM セルは3つの状態を取る。 セルがフィード・フォワード入力によってアク ry 単に「アクティブ」の用語 ry
3) 以前の入力の文脈に基づいて、現在の入力からの予測をするリージョンの ry 予測はステップ 2)で作成した、すべての以前の入力からの文脈を含む表現に基づ ry
リージョンが予測をするときは、将来のフィード・フォワード入力によって アクティブになると考えられるすべてのセルをアクティブ(予測状態)にする。 リージョンの表現は疎であるので、同時に複数の予測がなされ得る。 例えばカラムのうちの 2%が入力によってアクティブになるとすると、 カラムの 20%が予測状態のセルとなることで10 個の異なる予測がなされ得る。 ry 40% ry 20 個 ry 。各カラムが 4 個のセルからなり、一度に一つだけがアクティブ になるとすれば、セル全体の 10%が予測状態 ry
今後、疎分散表現の章が追加されれば、異なる予測が混じり合っても、 リージョンは特定の入力が予測されたのかそうでないのかを高い確信 ry
リージョンはどうやって予測 ry ? 入力パターンが時間と共に変化するとき、 カラムとセルの異なる組み合わせが順次アクティブになる。 あるセルがアクティブになると、周囲のセルのうちすぐ直前にアクティブだったセルの 部分集合への接続を形成する。これらの接続は、そのアプリ ry で必要とされる学習速度 に応じて早く形成されたりゆっくり ry 調整できる。 その後、すべてのセルはこれらの接続を見て、 どのセルが同時にアクティブになるかを探さなくてはならない。 もし接続がアクティブになったら、 セルはそれ自身が間もなくアクティブになることを予測することができ、予測状態に入る。 よってある組み合わせのセルがフィード・フォワード入力によってアクティブになると、 ひき続いて起こると考えられる他の組み合わせのセルが予測状態になる。 ry 歌を聞いていて次の音を予測 ry 瞬間と同様 ry
図 2-3 ry リージョンのいくつかのセルがフィード・フォワード入力によってアク ry (薄い灰色で示した)。他のあるセルは、アクティブなセルからの横方向の入力を 受け取って予測状態になる(濃い灰色で示した)。
まとめると、新しい入力が到着すると、アクティブなカラムの疎な部分集合が選択される。 各カラムの一つ又はそれ以上のセルがアクティブになり、これはまた同じリージョン内 のセル間の接続の学習内容に応じて他のセルを予測状態にする。 リージョン内の接続によってアクティブになったセルは、 ry 予測を表す。 次のフィード・フォワード入力が到着すると、 他のアクティブなカラムの疎な組み合わせが選択される。 新たにアクティブになったカラムが予期したものでないとき、 つまりどのセルも ry 予測しなかったとき、カラム中のすべてのセルをアクティブ ry 。新たにアクティブになったカラムが ry 予測状態のセルを持つなら、 それらのセルだけがアクティブになる。リージョンの出力はリージョン内のすべてのセル のアクティブ状態であり、フィード・フォワード入力によってアクティブになったセルと、 予測状態のためアクティブになったセルとからなる。
既に述べ ry HTM リージョンの予測は将来のいくつかのステップに及ぶことも ry ry メロディの次の音を予測するだけではなく、例えば次の 4 つの音 ry 。 ry 出力(リージョン内のアクティブ状態のセルと予測状態のセルの和集合) は入力よりもゆっくりと変化する。 リージョンがメロディの次の 4 つの音を予測 ry 。メロディを文字 A, B, C, D, E, F, G のシーケンスで表現する。最初の 2 音を聞いた後、リージョン 06246232017/01/11(水) 21:00:08.87ID:Tu17jTh4>>623
はシーケンスを理解し、予測 ry C, D, E, F を予測する。 B のセル33は既にアクティブであるから B, C, D, E, F がそれぞれ 2 つのアクティブな状態のどちらかになる。 ry 次の音 C ry アクティブ状態のセルと予測状態のセルの集合は C, D, E, F, G を表す。 入力パターンは B から C へとまったく違うものに変化したが、20%のセルだけが変化 ry
ry の出力はリージョン内のすべてのセルのアクティブ状態を示すベクトル で表されるので、この例の出力では入力に比べて 5 倍安定 ry 階層構造を上に登るに従って時間的な安定性が増加 ry 表現に文脈を追加して予測を行う 2 つのステップを「時間プーリング」 ry シーケンスに対してゆっくりと変化する出力を生成することで、 時間と共に順に現れる異なるパターンを「プールする」34。 ry 別のレベルで詳細化 ry 空間プーリングと時間プーリングで共通の概念から始 ry
共通概念
空間 ry と時間プーリングの学習は似て ry 、セル間の接続関係、あるいはシナプス の形成を含む。 時間プーリングは同じリージョン内のセル間の接続を学習する。 空間プーリングは入力ビットとカラムとのフィード・フォワード接続を学習する。
二値ウェイト HTM のシナプスは 0 又は 1 ry 。多くの他のニューラルネットワークモデルでは 0 から 1 の範囲で変化するスカラー値のウェイトを用いるのと異な ry
永続値 シナプスは学習を通じて継続的に形成されあるいは切断 ry 、各シナプスに(0.0 から 1.0 の)スカラー値を割り当て、接続がどのくらい永続的 ry 。接続が強化されれば、永続値は増加する。他の状況では、永続値は減少する。 ry しきい値(例えば 0.2)を上回れば、シナプスは形成され ry 下回れば、シナプスは無効 ry
樹状突起セグメント シナプスは樹状突起セグメントに接続される。樹状突起には主要と末梢の 2 種 ry
- 主要樹状突起セグメントはフィード・フォワード入力との間のシナプスを形成する。 ry アクティブなシナプスは線形に加算され、これにより カラムがフィード・フォワード入力によるアクティブ状態になるか否かが決定される。 - 末梢樹状突起セグメントは同じリージョン内のセル間のシナプスを形成する。 各セルはいくつかの末梢樹状突起セグメントを持つ。 ry アクティブなシナプスの合計がしきい値を超えたら、 接続されたセルは予測状態によりアクティブになる。 一つのセルに複数の末梢樹状突起セグメントがあるので、 セルの予測状態はそれぞれをしきい値で判定した結果の論理和 ry 06446432017/02/03(金) 08:50:41.34ID:qVY5ajPD シナプス候補 ry 、樹状突起セグメントはシナプス候補のリストを持つ。 ry 候補は永続値 ry がしきい値を超えたら有効に機能するシナプスとなる。
学習 学習では樹状突起セグメント上のシナプス候補の永続値を増加・減少させる。 ry 用いられる規則は「ヘブの学習規則」35に似ている。 例えば、ある樹状突起セグメントがしきい値以上の入力 を受け取ったためにセルがアクティブに ry シナプスの永続値を修正する。 シナプスがアクティブであり、従ってセルがアクティブになることに貢献した場合、 その永続値を増 ry 。ry がアクティブではなく ry 貢献しなかった場合、その
35 Hebbian learning rules。「細胞 A の軸索が細胞 B を発火させるのに十分近くにあり、 繰り返しあるいは絶え間なくその発火に参加するとき、 いくつかの成長過程あるいは代謝変化が一方あるいは両方の細胞に起こり、 細胞 B を発火させる細胞の 1 つとして細胞 A の効率が増加する。」 06456432017/02/05(日) 14:16:41.40ID:P54mEcWs Page 34
永続値を減 ry 永続値を更新する正確な条件は、空間プーリングと時間プ ry とでは異な ry
空間プーリングの概念
空間プーリングの最も基本的な機能はリージョンへの入力を疎なパターンに変換 ry 。シーケンスを学習して予測 ry 疎分散パターンから始めることが必要 ry 。空間プーリング ry いくつかの到達目標がある。
1) すべてのカラムを使用する HTM リージョンは入力の共通したパターンに対する表現を学習するための 固定数のカラムがある。一つの目的は、全体の ry すべてのカラムが確かに、 ry 学習 ry 。決してアクティブにならないようなカラムは必要でない。そうならないために、 各カラムがその周囲のカラムと相対的にどのくらい頻繁にアクティブになるかを常に監視 ry 頻度が低すぎるときは、そのカラムが勝者となるカラムの集合に含まれ始めるように ry アクティブになる基準をブースト36する。 ry カラムは周囲のカラムと互いに競合しており、入力パターンに対する表現に 加わろうとしている。あるカラムがほとんどアクティブにならないときは ry 積極的に ry 、他のカラムはその入力を変更させられて少しだけ異なる入力パターンを表現し始める。 06466452017/02/05(日) 14:17:14.74ID:P54mEcWs 2) 望ましい密度を維持する リージョンは入力に対する疎な表現を形成する必要がある。 最大の入力を受け取ったカラムは周囲のカラムを抑制する。 抑制範囲を決める半径は、そのカラムの受容野37のサイズに比例する (従ってまた、小さなサイズからリージョン全体に至る範囲を取る)。 抑制半径の範囲内では、多くのアクティブな入力を受け取ったわずかなパーセンテージ のカラムだけを「勝者」とする。その他のカラムは無効化される。 (抑制「半径」の語感は二次元状に配置されたカラムを暗示しているが、 この概念は他のトポロジにも適用できる)
36 boost。後押しする、増強するなどの意。後述のアルゴリズムでブースト値という変数 ry 37 receptive field 06476452017/02/08(水) 02:03:27.72ID:63WsxX0P Page 35
3) 些細なパターンを避ける すべてのカラムが些細ではない入力パターンを表すこと ry は、 カラムがアクティブになる ry 最小のしきい値を設定することで達成 ry 。例えば、しきい値を 50 とすると、カラムがアクティブになるには その樹状突起セグメント上のアクティブなシナプスが 50 個以上必要であり、 ry あるレベル以上に複雑なパターンだけが表現される ry
4) 余分な接続関係を避ける よく注意しないと、あるカラムが巨大な数の有効なシナプスを保持する ry 。すると、あまり関連性のない多くの異なる入力パターンに強く反応するようになる。 シナプスの異なる部分集合は異なるパターンに反応するだろう。 この問題を避けるため、勝者カラムに現在貢献していないシナプスすべて ry 永続値を減 ry 。貢献していないシナプスに確実に十分なペナルティを与えることで、 一つのカラムが表現する入力パターンが限定 ry 06486452017/02/08(水) 02:04:30.13ID:63WsxX0P 5) 自己調整的な受容野 実物の脳は高い可塑性38を示す。 新皮質のリージョンは、様々な変化に反応してまったく異なる事柄の表現を学習できる。 もし新皮質の一部が損傷したら、 ry 他の部分によって表現するように調整される。 もし感覚器官が損傷したり変化したりすると、 それに関連付けられていた部分の新皮質は何か他のことを表現するように調整される。 システムは自己調整的である。我々の HTM リージョンにも同様の柔軟性を求めたい。 あるリージョンに 10,000 個のカラムを割り当てたら、 入力を 10,000 個のカラムで最適に表現する方法を学習するべき ry 入力の統計的性質が変化したら、カラムは ry 最適に表現するように変化するべき ry まとめると、HTM の設計者はリージョンに任意のリソースを割り当てることができて、 そのリージョンは利用可能なカラムと入力の統計的性質に基づいて入力を最適に表現 ry できるべきである。 一般的な規則は、リージョンのカラムがより多くあれば、 各カラムは入力のより大きくより詳細なパターンを表現 ry 。なお一定の粗さを保つが39、カラムは普通、より稀にアクティブになる。
時間プーリングがシーケンスを学習し、予測をすることを思い出して欲しい。 基本的な方法は、あるセルがアクティブになったら直前にアクティブであった他のセルとの 接続を形成することである。これによりセルは、そのセルの接続を調べることで いつそれがアクティブになるかを予測 ry 。すべてのセルがこれを行えば、 全体としてそれらはシーケンスを記憶してそれを思い出し ry 予測できる。 ry シーケンスを記憶するための集中記憶装置はなく、 ry 記憶は各セルに分散配置される。 記憶が分散 ry 、システムはノイズや誤りに強くなる。 ry 、疎分散表現の重要な特徴を 2, 3 述べておく ry
ry あるリージョンが全部で 10,000 個あるセルのうち、常に 200 個のセルがアクティブ になることで表現を形成しているとしよう( ry 2%のセルがアクティブ)。 200 個のアクティブなセルで表される特定のパターンを記憶・理解するには ry 単純な方法は、関心がある 200 個のアクティブなセルのリストを作成 ry 。ちょうど同じ 200 個のセルが再びアクティブになったことが分かれば、 そのパターンを理解したことになる。 しかしながら、 ry 20 個だけのリストを作成して、残りの 180 個を無視したとしたら ry ? ry 200個のセルの異なるパターンにおいてそれら 20 個の部分がちょうどアクティブに なるようなパターンが数多く存在して、間違いだらけに ry はならない。 パターンは大きくかつ疎であるため(ry 10,000 個のうち 200 個のセルがアクティブ)、 20 個のアクティブなセルを記憶することで ry うまく記憶できる。 実際のシステムで間違いが起こる可能性は極めて稀 ry メモリ量を非常に節約 ry 06526512017/02/11(土) 12:03:13.50ID:Xj0b950+ HTM リージョンのセルはこの特徴を利用している。各セルの樹状突起セグメントは 同じセル内の他のセルへの接続関係の集合を持つ。樹状突起セグメントは ある時点でのネットワークの状態を理解する ry ため、これらの接続を形成している。 周囲のアクティブなセルは数百から数千あるかも知れないが、 ry が接続しなければならないのはこのうちの 15 から 20 程度に過ぎない。 ry 15 個のセルがアクティブと分かれば、その大きなパターンが発生 ry ほぼ確信できる。 このテクニックを「サブサンプリング」と呼び、HTM アルゴリズム全体を通じて利用している。
各セルは多くの異なる分散パターンに関与し、また多くの異なるシーケンスに関与 ry 。ある特定のセルは数十から数百の時間的遷移に関与しているかも ry 。従って各セルは一つではなく、いくつかの樹状突起セグメントを持つ。 ry セルが理解したいアクティビティの各パターンごとに一つの樹状突起セグメントを持つこ 06536612017/02/12(日) 14:29:02.49ID:BZYpOz1d Page 38
とが望ましい。しかし ry 樹状突起セグメントはいくつかの完全に異なるパターンに関して 接続を学習することができ、それでもうまく行く。 例えば、一つのセグメントが 4 つの異なるパターンのそれぞれについて 20 ry 都合 80 個 の接続を持つとする。そして、これらの接続のうち任意の 15 個がアクティブ なときに樹状突起セグメントがアクティブとなるようにしきい値を設定する。 これにより誤りが発生する可能性が生じる。 異なるパターンが混在することで、 ry 15 個のしきい値に到達する可能性がある。 しかしながら、表現の疎な性質により、このような誤りは非常に起こりにくい。
フィード・フォワードによってアクティブになったセルだけを処理するのは リージョンの内部だけであって、それ以外では予測はさらなる予測を引き起こす ry 。しかし(フィード・フォワードと予測の)すべてのアクティブなセルは リージョンの出力となり、階層構造の次のリージョンへと引き継がれる。 06576562017/02/15(水) 22:27:09.36ID:4UMkv2wE 一次と可変長42のシーケンスと予測
ry
一つのカラムに対するセルの数を増 ry 減 ry の効果 ry ? 特に、1カラムに1つのセルしかないとき ry ?
以前用いた例では、カラム当たり4セルのアクティブなカラムが 100 個の場合、 入力の表現は 4100 通りの異なるコード化が可能 ry 。従って、同じ入力が様々な文脈の中で出現しても混乱しない ry 。例えば、もし入力パターンが単語を表すなら、リージョンは 同じ単語が何度も使われる多くの文章を混乱することなく
41 原文は“inactive to active”となっているが、web 上の forum で “predictive state to active state”の間違いだったとの訂正があった。 (2010/12/14 Sabutai: title “Cortical Algorithms document: praise and suggestions”) 42 “first order” と “variable order”。前者は一つだけの長さのシーケンスと予測、 後者は任意の長さのシーケンスと予測。 0658オーバーテクナナシー2017/02/16(木) 09:52:28.99ID:n4SoUyRChttps://youtu.be/2q-vGObpa4M0659オーバーテクナナシー2017/02/17(金) 08:25:58.71ID:C7chZT7r 関連スレ
カラム当たり 5 セルに増やすと、 ry 可能なコード化の数は 5100 に増加し、4100 よりずっと大きくなる。 しかし、 ry 多くの現実的な問題においてこの容量の増加はあまり役に立たない ry
しかしながら、 ry 少なくすると、大きな違いが生まれる。
もしカラム当たり1セルまでになると、文脈の中で表現する能力を失 ry リージョンへの入力は、以前の活動に関係なく常に同じ予測を引き起 ry 。カラム当たり1セルの場合、HTM リージョンの記憶は一次記憶となり、 予測は現在の入力だけに基づ ry
一次予測は脳が解くことのできるある種の問題 ―静的空間推論― に理想的である。 ry 目が後を追うには短かすぎる時間であっても ry 聞く ry 理解するには常にパターンのシーケンスを聞く必要がある。 視覚も普通はそれに似ていて、視覚的イメージの流れを処理する必要がある。 しかしある条件下では、一瞬 ry 06616602017/02/17(金) 13:49:24.30ID:pF3vP0RD 時間的理解と静的理解とでは、異なる推論メカニズム ry 一方は可変長の文脈に基づいてパターンのシーケンスを理解し、予測をする必要がある。 他方は時間的文脈を使わずに静的な空間的パターンを理解する必要がある。 カラム当たり複数のセルを持つ HTM リージョンは時間に基づくシーケンスを理解 するのに理想的であり、カラム当たり1セルの HTM リージョンは空間的パターンを理解 するのに理想的である。 Numenta では、カラム当たり1セルのリージョンを視覚問題に適用した実験を数多く実施 ry 重要な概念だけ述べる。
もしリージョンへの入力画像が、垂直な線が右に移動するものだったら ry ? カラム当たり1セルしかなかったら、線が次に左又は右に現れること43を予測できる ry 。線が過去にどこにあったか知っているという文脈を使うことができないため ry 移動していることを知ることはできない。 このようなカラム当たり1セルのものは、新皮質の「複雑型細胞」44のように振舞う ry 。そのようなセルの予測出力は、 ry 動いていようがいまいが 異なる位置にある視覚的な線に対してアクティブになるだろう。 このようなリージョンは異なるイメージを区別する能力を保持する一方で、 平行移動や大きさの変化に対して安定 ry 。このような振る舞いは、空間的不変性(同じパターンの異なる見方 ry ) ry
もし同じ実験をカラム当たり複数のセルを持つ HTM リージョンに対して行えば、 そのセルが新皮質の「方位選択性複雑型細胞」45のように振舞う ry 。セルの予測出力は左に移動する線や右 ry 線に対してアク ry になるが、両方に対しては ry 06666652017/02/19(日) 00:41:39.93ID:Iy/nas+o これらをまとめ ry 仮説 ry 新皮質は一次と可変長の両方の推論及び予測 ry 。新皮質の各リージョンには 4 又は 5 層のセルがある。 ry それらはすべてカラム単位で応答する性質 ry 水平方向に大きな接続性 ry 。新皮質のセルの層は ry HTM の推論と学習に似たことを実行しているのではないか ry 。異なる層のセルは異なる役割 ry 。例えば解剖学によれば 第 6 層は階層構造のフィードバックを形成し、第 5 層は運動の動作に関わっている。 。異なる層のセルは異なる役割 ry 解剖学 ry 6 層は階層構造のフィードバックを形成し、第 5 層は運動の動作 ry 。セルの 2 つの主要なフィード・フォワード層は第 4 層と第 3 層である。 ry 4 層のセルが独立に、即ちカラムの中で1セルだけが動作するのに対して、 第 3 層のセルはカラムの中で複数のセルが動作 ry 。よってセンサ入力に近い新皮質のリージョンは一次記憶と可変長記憶の両方を持つ。 一次シーケンス記憶(だいたい第4層のニューロンに対応する)は空間的に不変の表現 ry 。可変長シーケンス記憶(だいだい第 3 ry )は動画像の推論と予測に役立つ。
まとめ ry 章で述べたようなアルゴリズムは新皮質のニューロンのすべての層 ry 仮説 ry 。新皮質の層の詳細は大きく違っていて、 フィード・フォワードとフィードバック、注意46、運動動作47に関する異なる役割を演じ
43 「移動する」ことは予測できないが、隣の位置に「出現する」ことは予測 ry 44 complex cell 45 directionally-tuned complex cell 46 attention 47 motor behavior 06676652017/02/20(月) 00:16:09.76ID:PjnuggmX Page 42
ry 一次(カラム当たり1セル)の HTM リージョンを画像認識問題に適用する実験 ry 可変長(カラム当たり複数セル)の ry に可変長のシーケンスを理解・予測させる実験 ry 。将来 ry 一つのリージョンに混在させ、他の目的にもアルゴリズムを拡張 ry しかしながら、一つの層と等価なカラム当たり複数セルの構造が、 単体であれ複数階層であれ、多くの興味深い問題を取り扱いうる ry 0668オーバーテクナナシー2017/02/22(水) 14:16:16.71ID:NK3va3H8 35:54 ↓ 10:40 https://www.youtube.com/watch?v=WTdY7h129Mk
ry プーリング関数48の最初の実装の疑似コード ry 。このコードの入力は、センサー・データ又は前のレベルからのバイナリ配列である。 このコードは activeColumns(t) を計算する。activeColumns(t) は 時刻 t において、フィード・フォワード入力に対して選択されたカラムのリスト ry 時間プーリング関数の入力 ry activeColumns(t) は空間プーリング関数の出力 ry 06706692017/02/26(日) 02:07:54.96ID:vIzrnxYS 疑似コードは3つのフェーズ ry 順に実行 ry
ry 1: 各カラムについて、現在の入力のオーバラップを計算する。 ry 2: 抑制の後に勝者となったカラムを計算する。 ry 3: シナプスの永続値と内部変数を更新する。
以下、3つのフェーズのそれぞれについて疑似コードを示す。 ry データ構造や補助関数は本章の最後に示す。
初期化 最初の入力を受け取る前に、各カラムの最初のシナプス候補のリストを計算して リージョンを初期化する。 これは入力配列の中からランダムに選択された入力位置のリストで構成される。 各入力はシナプスで表現され、ランダムな永続値が割り当てられる。 ry 永続値は二つの条件を満たす ry 。第一に、その値は connectedPerm (シナプスが「接続している」と判定される最小の永続値)の前後の狭い範囲 ry 。これにより、訓練を少ない回数繰り返しただけで、 ry 接続(ないし切断) ry 。第二に、各カラムは入力リージョン上で自然な中心位置があり、 永続値 ry バイアス ry 。(中心付近ではより高い値 ry )
48 spatial pooler function 49 online。推論の計算と学習の計算を分離せずに、同時 ry 06716692017/02/26(日) 17:47:14.84ID:vIzrnxYS Page 44
フェーズ 1: オーバラップ ry 与えられた入力ベクトルについて、そのベクトルと各カラムのオーバラップを計算する。 ry オーバラップは、アクティブな入力と接続されたシナプスの数 ry にブースト値を掛け ry 。もしこの値がminOverlap を下回 ry 0 ry
1. for c in columns 2. 3. overlap(c) = 0 4. for s in connectedSynapses(c) 5. overlap(c) = overlap(c) + input(t, s.sourceInput) 6. 7. if overlap(c) < minOverlap then 8. overlap(c) = 0 9. else 10. overlap(c) = overlap(c) * boost(c) 06726712017/02/26(日) 17:49:20.84ID:vIzrnxYS フェーズ 2: 抑制 ry 抑制の後に勝者となったカラムを計算する。 desiredLocalActivity は勝者となるカラムの数を制御するパラメータである。 例えば、 desiredLocalActivity を 10 ry 抑制半径 ry においてカラムのオーバラップ値が高い順に 10 位以内のカラムが勝者 ry
11. for c in columns 12. 13. minLocalActivity = kthScore(neighbors(c), desiredLocalActivity) 14. 15. if overlap(c) > 0 and overlap(c) minLocalActivity then 16. activeColumns(t).append(c) 17.
フェーズ 3: 学習 ry 学習を実行 ry シナプスの永続値は必要に応じて更新され、 ブースト値と抑制半径を更新する。 06736712017/02/27(月) 23:47:53.65ID:2got1qbV Page 45
主要な学習規則は 20-26 行 ry 。勝者となったカラムのそれぞれについて、 もしあるシナプスがアクティブであればその永続値をインクリンメントし、 その他の場合はデクリメントする。永続値は 0 から 1 の範囲 ry
>205 >135 : YAMAGUTIseisei 20161009 >繰返しになるが既にできている ( 自分だけの問題でないので全てを詳らかにできないが自分の師匠がとうの昔に簡易 06876202017/04/09(日) 08:19:51.34ID:XXlcdpGX>>630 #60#62-64 >パルス ry 頻度が重要 ry よってセルの出力はスカラー値と見 ry 学習はシナプスのウェイトを調整 ry 非線形 ry このタイプの人工ニューロン ry 有益 ry しかし ry 複雑さを捉えておらず ry もっと精巧 ry 必要 >68 spike ry 尖った波形
>樹状突起セグメントは、以前 ry 同時にアクティブ ry セルへの接続 ry で ry 記憶する。そのセグメントは、以前にフィード・フォワード入力によってアクティブ ry を記憶
>365 ー 181205 1829 lmcLPDjK > >364 >>A single 42U rack IPU-Pod delivers over 16 Petaflops of mixed precision compute and >>a system of 32 IPU-Pods scales to over 0.5 Exaflops of mixed precision compute. >mixed precision FP32とFP16か? >なスパコンの計測はFP64だから8PFLOPSと0.25EFLOPS(=250PFLOPS