Hned několik předměstských gruntů skoupil na konci 16. století Hynek Bruntálský z Vrbna, aby mohl v Lipníku s pomocí italských mistrů vybudovat svůj vysněný zámek.

Stavba si dlouho uchovala renesanční vzhled, a to až do novoklasicistní přestavby v polovině 19. století.

Zámek je obklopen krásným, veřejně přístupným parkem, původně ve francouzském, později v anglickém duchu, a dodnes v něm rostou věkovité stromy, které pamatují založení parku v polovině 17. století.

Raritou zámku je jeho střešní zahrada, která byla svého času – tedy na počátku 20. století, první svého druhu na sever od Alp.

Vznikla úpravou terasy na střeše západního zámeckého křídla. Vznikla tak zahrada propojená můstkem se salonkem v jihozápadním nároží.

Stavitelé použili tehdy novátorskou technologii železobetonových trámů a dnes zahradu o rozloze 600 m2 s kašnou, fontánkami a palmami díky rekonstrukci z roku 2006 můžeme obdivovat v její původní kráse.

Jižně od areálu zámku se rozkládá anglický park, jehož současná podoba pochází z 80. let 19. století. V bezprostřední blízkosti střešní zahrady se nachází výjimečný exemplář buku lesního.

Rozvětvený buk zvaný Opičák má několik samostatných kořenů a patří k výrazným dominantám zámeckého parku.