Impedicare luare in folosinta si ingradire teren cumparat

Buna ziua, anul trecut am cumparat o casa la tara cu terenul aferent de 1700 mp. Casa si terenul au fost cumparate de la cel ce imi este astazi vecin pe o latura a terenului. Acum in primavara vrem sa ne apucam sa aranjam gospodaria si am chemat un topograf (autorizat si expert pe langa judecatorie) pentru a ne da punctele de hotar intre terenul cumparat de noi si cel ramas vecinului, moment in care a inceput scandalul... Vecinul refuza sa recunoasca punctele de hotar date de catre topograf, puncte inscrise si in planul de amplasament si delimitare care face parte din contractul de vanzare cumparare, contract semnat de catre vecinul impreuna cu sotia sa si noi de partea cealalta.
Acesta sustine ca nu ne-a vandut atat teren si ca este gresit planul si masuratorile (cadastrul cu dezlipirea pamantului nostru a fost facut de el cu cadastrist adus de el).
Pe langa acest lucru abia acum am descoperit ca hotarul dintre cele doua terenuri trece printr-o anexa a vecinului care nu a fost prinsa in cadastru.
Intrebarea mea este: pot construi gardul pe hotar pana in cladirea respectiva chiar daca vecinul nu mai recunoaste ce a vandut si semnat? Care ar fi pasii pe care sa ii urmez?

Multumesc.