Hned několik předměstských gruntů skoupil na konci 16. století Hynek Bruntálský z Vrbna, aby mohl v Lipníku s pomocí italských mistrů vybudovat svůj vysněný zámek. Stavba si dlouho uchovala renesanční vzhled, a to až do novoklasicistní přestavby v polovině 19. století.
Zámek je obklopen krásným, veřejně přístupným parkem, původně ve francouzském, později v anglickém duchu, a dodnes v něm rostou