Horský park najviac zveľadil J. A. Bäumler

Romantické prešporské obyvateľstvo v 19. storočí rado podnikalo dlhšie pešie vychádzky do najbližšieho okolia mesta. Nestačilo už chodiť do Auparku na južnom brehu Dunaja či na Kalváriu, ktorá sa ešte vtedy netopila v lese, ale okolo ktorej sa rozprestierali vinohrady.

Pod Hlbokou cestou vítala návštevníkov takzvaná Gaštanová záhrada, nad dnešnou Šulekovou poskytovala útulok chata zvaná Friedliche Hütte. Ďalšími obľúbenými výletnými miestami bol Mariánsky kúpeľ (Marienbad) nad Hlbokou cestou či oblasť dnešnej Búdkovej cesty. Tá dostala meno podľa troch vidieckych stavieb „Batzenhäusel“ (nesprávne preložené ako „búdky“), ktoré boli skôr výstavnými vilami a poskytovali výletníkom občerstvenie, niekedy aj ubytovanie. Miestom vzdialenejších výletov bola Železná studnička, tam však asi málokto chodil pešo. Hlboká cesta bývala pôvodne len chodníkom v lese, v šesťdesiatych rokoch 19. storočia ju rozšírili a upravili. Viedla ku kaplnke Panny Márie Snežnej a ďalej ku grófskemu majetku a žrebčincu grófa Maurica de Saint Genois. S grófskym areálom (dnes internát) susedil mladý lesík, ktorý lákal návštevníkov. Z iniciatívy vtedajšieho mešťanostu Heinricha von Justiho (1804 - 1878) mesto lesík kúpilo, neskôr k nemu pripojilo susedný „študentský lesík“ a zriadilo v ňom sieť chodníčkov podľa projektu mestského inžiniera Antona Sendleina (1842 - 1918). Z lesíka sa stal „lesný park“ vybavený lavičkami, altánkom, studničkou, mostíkom ponad potok. Pôvodný porast doplnili viacerými cudzokrajnými stromami. O park sa intenzívne staral Prešporský okrášľovací spolok (Pressburger Verschönerungsverein). Veľký podiel na zveľadení parku mal tunajší rodák Johann Andreas Bäumler (1847 - 1924), botanik, ktorý vydal niekoľko vedeckých publikácií. Jedenásť druhov rastlín neskôr pomenovali jeho menom. Dva roky po jeho smrti, v roku 1926, osadili v Horskom parku pomník Bäumlerovi, ktorý je dielom bratislavského sochára Alojza Rigeleho. Ten istý sochár už prv na objednávku Okrášľovacieho spolku postavil pomník mešťanostovi Justimu.