Если пристройка была оформлена около 20 лет назад, а сейчас соседи говорят что мол они тогда не давали согласия...

Если прежним владельцем дома пристройка была узаконена и есть документы именно о том, что это только его была пристройка, а не совместная с соседом - пусть ваши соседи идут лесом. а если совместная, то будет так, как сказал вася.

"сейчас соседи говорят что мол они тогда не давали согласия." если они не давали согласия - это ни о чем не говорит: потрындеть в общем дворе можно всегда. пусть они доказывают, что не давали согласия - есть какие-то документы у них из суда или еще что-то в доказательство их (соседских) слов?
пообещайте им, что подадите в суд на их конуру, а уж они пусть представляют письменные документы, что тогда были не согласны.