Hrubá Skála bývala dříve hradem. Jmenoval se Skála a Valdštejnové ho na východním okraji dnešní rezervace Hruboskalsko na pískovcové výspě postavili ve 14. století. O dvě století později ho majitelé přestavěli na pohodlnější zámek a upravili mu i jméno, aby ho odlišili od zhruba 15 kilometrů vzdáleného zámku Malá Skála.
Úpravy pokračovaly i v dalších dobách, dokud zámek v polovině 19. století ned
Zámek, ležící nedaleko vstupu do úchvatného skalního města, známe jako sídlo, na jehož nádvoří svedl pohádkový Bajaja na bílém koni závěrečný boj s podlými zloduchy.
I ve skutečnosti bylo nutné odolávat nevítaným hostům. Začátkem čtrnáctého století založil Hynek z Valdštejna hrad Skály, tomu se v pozdější době začalo říkat Hrubá Skála, aby došlo k odlišení od blízké Malé Skály nad Jizerou. Ska