任意同行に応じるかは、あくまで任意同行を求められた本人の任意です。

警察官は強制的に本人を警察署まで連行することはできません。

任意とは、

応じるか応じないかは自由

嫌な時はいつでも拒否することができる

という意味です。

例えば、犯罪捜査に際しての任意同行の根拠条文である刑事訴訟法198条には、次のように書かれています。

但し、被疑者は、逮捕又は勾留されている場合を除いては、出頭を拒み、又は出頭後、何時でも退去することができる。

出典：刑事訴訟法198条1項但書

これは、被疑者は任意同行を求められても、

出頭を拒否することができる

もし出頭しても、その後に帰りたくなったら、いつでも警察署から帰ることができる

という意味です。

また、職務質問に際しての任意同行の根拠条文である警察官職務執行法2条にも、次のような規定があります。

前二項に規定する者は、刑事訴訟に関する法律の規定によらない限り、身柄を拘束され、又はその意に反して警察署、派出所若しくは駐在所に連行され、若しくは答弁を強要されることはない。

出典：警察官職務執行法2条3項

これは、職務質問を受けている人は、任意同行を求められても、

警察署、派出所、駐在所に行くことを拒否することができる

質問に対する回答を拒否することができる

という意味です。

このように、法律上も、任意同行を拒否する権利が強く保障されています。