> なんで枝葉末節の部分にそんなこだわってくるのかな・・・

それはどちらとも言えない状況で、幼児期から違和感のあった人が先天説をベースに自分と女装者を隔てるような発言をするのは、本人にその自覚がなくてもエリート意識や見下しのニュアンスを含むからです。
現状で埋没まで行ける当事者は全体からするとかなり少なく、そこに至るまでには多分に恵まれた環境や資質があったはず。
埋没してる当事者はそのことを忘れず、不用意に差別的と取られる発言はできるだけ避けるべきと、自戒を含めて思います。