「あなたとは、そこまでの付き合いじゃないから遠慮します」
と
「申し訳ないけど披露宴の出席は大学の同期と親戚だけと決めてるのでゴメンね」

では同じ断るにしてもだいぶ印象が変わると思うけどなあ
一つ目のの言い方はきついしちょっと常識ないと思われても仕方ない
二番目のだったらそれならしょうがないかとも思えるよ

というかはっきり断れる人が少ないからこそこのスレがあるんではないでしょうか・・・