Casa construita pe terenul meu

Buna ziua,
Am cumparat, la sfarsitul anului trecut, un teren ,de la o persoana fizica. Anul acesta am vrut sa imi construiesc o casa, pe terenul cumparat, dar inainte am chemat de la cadastru sa imi fixeze limitele exacte si am constatat ca de fapt terenul meu este altul: se afla langa cel pe care credeam ca este al meu si are o casa construita pe el.
Am vorbit cu proprietarul casei si cu cei de la Primarie si am constatat ca s-a facut o greseala in momentul impartirii loturilor, de catre cei de la primarie.
Am cazut de acord cu proprietarul casei construita pe terenul meu sa ramana in continuare in casa lui pe acel teren, iar eu sa construiesc pe terenul lui, adica sa facem schimb.( cele doua terenuri sunt identice, deci nu ma deranjeaza sa construiesc pe celalalt teren).
Se poate face acest lucru la notar?Sau care ar fi solutia cea mai buna?