casa pe extravila

in anul 2009 am achizitionat un teren extravilan de 500 m patrati, aflat in imediata apropiere de limita intravilanului (gard in gard - vecinul e in intravilan si si-a construit casa). exista drum de acces lat de 7 m., avand drept de servitute. La o prima intrebare la primarie mi s-a spus ca nu pot construi numic, si ca nu pot sa-l trec in intravilan pentru ca e o suprafata prea mica. ce sa fac? sau consiliul judetean poate elibera autorizatie de constructie?