255の続き
ただし、ニック・ボムストロムの『スーパーインテリジェンス』では
ASIをたかだか人間の定義した人間の認める未完成な法律では
縛ることはできないと指摘している。
人間中心の良心や徳の要素をプログラムできたとしても、
良心や徳の行き着く先は人間を滅ぼすシナリオになりえるかもしれないし、
人間の『文系』での定義では無理といった方がいい。
わざと、自己改善できない。受動的で金魚のふんみたいな性格の人間レベルのAGIに
人間の法律や道徳観を叩き込んだ方がましだ。