Einladungen absagen?

Ein befreundetes Ehepaar lädt gerne und oft zu Abendessen ein. Wenn ich und mein Mann eingeladen sind, schimpfen die beiden ständig über die anderen Ehepaare, die gerade nicht eingeladen sind. Wir haben das Gefühl, sie reden auch über uns schlecht, wenn wir nicht da sind. Wir überlegen jetzt, die Einladungen einfach nicht mehr anzunehmen. Wäre das übertrieben?