Czy można wybudować altanę na działkę bez drogi dojazdowej?

Witam. Mam zapytanie co do zabudowy. Działkę zakupiłem w 2000 roku jako pastwisko a w roku 2006 działki zostały przekwalifikowane na tereny zabudowy rekreacyjnej inwidualnej i oznaczone symbolem D4 ML i nie wytyczono dróg dojazdowych.Wszyscy sąsiedzi mają działki o tym samym symbolu i korzystają z tej samej drogi co ja ale droga nie jest naniesiona na mapę czyli faktycznie jej niema jest drogą polną między działkami ktorą od 100 lat miejscowi sobie wydeptali i wszyscy nią mają dojazd do swoich działek,ale zmierzam do tego że wszystkie działki mają pobudowane duże domy całoroczne i rozumiem że powinni mieć zgodę na budowę tylko jakim prawem je dostali skoro niema prawnej drogi dojazdowej do działek.Moja działka ma niecałe 900 m i nie myślałem o budowie domu tylko o postawieniu murowanej altany czy domku narzędziowego do 25m lub 35m na i bez problemu mógłbym postawić na zgłoszenie tylko nie dostałem zgody bo prawnie niema drogi dojazdowej tylko polna. Moje zapytanie czy mam jakieś wyjście z tej sytuacji aby tą altanę wybudować. Proszę o poradę.