非保存力と仕事の経路について質問です。

質量mの物体を鉛直上向きにhだけゆっくり手で持ち上げたとします。このとき手がした仕事はmghです。そしてエネルギー保存からして0からmghに増えているので、この増えた分が非保存力、つまり手がした仕事だというのは理解しています。

問題はここからです。次は上げる高さを2hにします。すると手がした仕事は2mghです。そこからhだけ下げます。つまり1回目と同じ高さにするのです。高さ2hからhに移動させたときの手がした仕事は-mghです。
よって1度2hまで上げてからhに戻した時の仕事は2mgh-mgh＝mghとなります。

これは単純にhだけ上げたときの仕事と一致します。つまり経路によらず一致したということです。

経路によらず始点と終点で決まる力は保存力ですよね？

しかし最初のエネルギー保存で考えると手の力は非保存力なのです。

これは一体どこが間違ってるいるのでしょうか？

手の力を非保存力とする参考書がほとんどですが、手の力は常に保存力である重力と等しいのだから保存力になるとも考えてしまいそうです。