Мне кажется, оппоненты чаще критикуют не реальные поступки и предложения конкретных людей, а их "образы". Под образами я понимаю то, кем люди представляют своих собеседников, какие свойства и намерения у них подозревают. В таких ситуациях, когда предложение вносит Имярек, реакцию вызывает не суть предложения, а инстинкт. Например, он "масон", на его слова надо реагировать так-то, она "интриганка" - ее идеи встречаем так. И при этом - ничего личного, одни рефлексы.
Ну и вторая сторона: когда все как-то живет, легче ничего не менять.