24Vがかかるときは、負荷がつながっていない。
負荷がつながっていないときに、コネクタで24Vのタッチから守りたい。
信号は直流で負荷は放っておくと0Vになる。(オペアンプ回路に
シンク能力が求められない)

という場合で、最大出力電圧が3.5Vよりちょっと下がってもいいなら、
こんな回路もあるかも。

D2はショットキー。D1はリークの少ないシリコン。
R2は20Vがかかっても大丈夫な、抵抗値、電力のもの。