Можно ли пользоваться гаражом?

Такое дело, когда я покупал квартиру мы с жильцом из соседнего, многоквартирного дома ( 8 квартир) поменялись гаражами, его гараж у моего дома, мой у его дома и я поставил в гараж машину, там она стояла до недавнего времени и была продана, я отстроил гараж и начал ставить туда новую машину (гараж по документам мой), вдруг выбегает соседка, которая работает в местном самоуправление (как-то так) и говорит мне, что я не имею правила пользоваться этим гаражом, так как он находится на территории дома, я ей ответил, что я покупал этот гараж и всегда им пользовался и услышал в ответ, что на меня подадут в суд. есть ли смысл волноваться, что мне запретят пользоваться гаражом?