>H出力時は、約3.3Vになるのか、約2.5Vなのか、どちらでしょうか。

3.3Vになる。

>やってみろって話だけど、壊れたら怖いなぁと思って。

壊れないよ。 プルしない場合は2.5V。プルしたら3.3Vになる。
出力をON/OFFすると0/3.3VでON/OFFする。

壊れる理由は過大電流を流し込んだ場合、過大電圧をかけた場合の二つが多い
Iol、Iohが電流の定格だからこれ以上は流さないようにする。
例えばONの時に出力は0vになってIolが22mAだとするとプルアップ抵抗は
3.3V/22mAよりも小さい抵抗値をつけると過大電流が流れることになる。
4.7Kなら3.3V/4.7k= 1mA以下だからIoLの制限超過で壊れることはない。
チップの全部のIOがONした場合の制限などもあるので、ある程度は余裕をみて
抵抗を選ぶ。