Fremde an den Tisch sitzen lassen

Frage vom Werner:
Weils mir schon passiert ist. Ich sitze mit meiner Frau in einem Restaurant, das ziemlich voll ist. Wir wollen eigentlich unsere Ruhe haben, sitzen aber zu zweit an einem sehr großen Tisch. Ist es unhöflich, wenn ich nein sage, wenn der Wirt jemanden zu uns dazu setzen will?