Palác sa nezachoval v pôvodnej podobe
Za bránou vonkajšieho prstenca mestského opevnenia na Suchom mýte (dnes Hodžovo námestie) sa rozprestierali pred polovicou 18. storočia pri ceste na sever a do vinohradov záhrady obyvateľov mesta. Prezident Uhorskej kráľovskej dvorskej komory gróf Anton Grassalkovich (1694 až 1771) využil pred rokom 1760 vhodnú príležitosť a kúpil od pôvodných majiteľov niekoľko záhrad v tesnom susedstve brány a opevnenia.