転職活動中の者です。他の会社の別の仕事の選考を受け、連絡が期間内に来なかったので不採用だと思い、
1ヶ月短期の派遣のバイトに応募し、契約書を書き明日就業の予定だったのですが
今日、その会社から採用の連絡を受けました。

なので短期のバイトの辞退すると連絡をしたら「書類で契約をしているし勤務開始日は明日なので1ヶ月は出てもらわないと困る」「交渉できないのか」などと言われてしまい、一旦その場は「わかりました」と伝えたのですが

辞退すると伝えたものの営業の方も気を悪くしており、交渉モードに入ってしまい何と伝えたらよいのか分からず困っております。
非常織ですし、ご迷惑をおかけしてしまっているのは確かなのですが
こういった場合どうしたらいいでしょうか…