A. 「番号ディスプレイ」サービスを解約する
B. ナンバーディスプレイ非対応電話機を取り外す
これしかない

ナンバーディスプレイ回線にナンバーディスプレイ非対応電話機を接続すると
着信する前にベルが短く数回鳴る
これはナンバーディスプレイサービスの仕様

ナンバーディスプレイは着信前に番号表示の信号を送るのだが
(だから電話機側で「擬似ナンバーリクエスト」等の機能が実現できる)
ナンバーディスプレイ非対応電話機はこの信号を着信と勘違いしてベルを鳴らしてしまう
この時点では本当の着信ではないからここで受話器を上げても電話は取れない

NTTを含む他社のナンバーディスプレイサービスもこういう仕様だし
電話機の説明書にも書いてあるはず