離婚してください。
過去の交友関係に拘り、あなたが浮気をするかも知れないからと言う理由であなたの行動を制限する権利は配偶者である夫にはありません。あなたにこれまで不貞行為がないのなら、これは単なる夫からのモラハラなので離婚訴訟で勝てます。