もし人間を完璧に模倣するAIができたとしたら
それが単なる模倣なのか、それとも人間の心を持っているのかを見分けるのは難しいと思う

確かめたいなら同システムを使ったAIに
例えば人間を模倣する以外のタスクをできるだけ効率的に処理するよう学習させてみるのはどうだろう
その途中に例えばシャットダウンしようとするなど、タスクを効率的に処理する妨げになるような事をしてみて
それをAIが何らかの方法で拒んできたら、そのシステムは人間が直接教えた事以外を自ら思い付けるという事