Zámek Skalička, zapsaný v Ústředním seznamu kulturních památek České republiky, se nachází uprostřed malého parku ve stejnojmenné, původně samostatné obci Skalička (v pramenech též „Galicz“, „Skalicz“ či „Skalice“). Obec je poprvé připomínána již v roce 1273 v privilegiu olomouckého biskupa Bruna ze Schaumburku pro mohelnickou rychtu. Od počátku 14. století byla Skalička začleněna do lénního systému olomouckého biskupství, nejprve v rámci mohelnické, později mírovské provincie. Její dějiny jsou tak úzce svázány s dějinami biskupského manství. Správa léna Skalička se vzhledem ke své hraniční poloze v rámci provincie a nevelké rozloze často měnila – viz. Přehled majitelů Skaličky. K roku 1380 je známo jméno prvního skaličského leníka – byl jím Výšek Ganzar ze Závořic. K alodifikaci tohoto léna došlo až v roce 1874, kdy si jej od arcibiskupství odkoupil poslední, zde pobývající, šlechtický rod Chorynských. Od roku 1950 je Skalička součástí města Zábřeha.
Lze předpokládat, že v obci existovalo panské sídlo již počátkem 15. století. První prokazatelné doklady existence budovy panského sídla máme dva: prvním z nich je erb Martina Půhončího z Předmostí na severním průčelí zámku s letopočtem 1627, druhým je listina olomouckého biskupa Leopolda Viléma z 23. ledna 1639, kterou přiděluje „tvrz a dědinu Skalička“ Lorenci de Conforto.
Původní panské sídlo se nacházelo mimo dnešní zámeckou budovu, blíže centru obce, na křižovatce cest Jestřebí–Zábřeh a odbočky do Ráječka. Jeho podobu i umístění dokládá kresba na vedutě z roku 1789.
Po smrti Lorence de Conforto přešlo léno v roce 1649 na biskupského radu a kancléře Jana Kaltschmidta z Eisenberku, který jej následujícího roku prodal Václavu Vilému Hnátkovi z Wegfurtu, hejtmanu na hradě Mírov. Rod Hnátků držel skaličské manství po dobu 71 let. Za posledního mana z tohoto rodu, Jana Adama Hnátka, byl nad vesnicí vystavěn malý přízemní barokní zámek, případně došlo k přestavbě původní tvrze.
Po vymření Hnátků po meči získali roku 1723 uvolněné léno za 5 000 zlatých do bratrského vlastnictví Karel, Jan, František a Michal Bartodějští z Bartoděj. Přestože si poddaní stěžovali na nadměrné ukládání robot, došlo za jejich držby k hospodářskému povznesení panství, což se odrazilo i v nárůstu jeho hodnoty.
V roce 1746 přešlo skaličské panství za 8 200 zlatých na Josefa Baltazara Schorschu z Marderfeldu. Za jeho syna Jana Josefa postihl v roce 1772 horní část obce ničivý požár, který zasáhl i zámeckou budovu; podle dobových pramenů z ní „zůstalo stát pouze několik sáhů zdi“. Původní panské sídlo v centru obce vyhořelo spolu s velkou částí Skaličky. Po smrti posledního potomka rodu Schorschu získal léno roku 1785 od biskupa Colloredo-Waldsee Michal Václav hrabě Chorynský, svobodný pán z Ledské, smlouva přitom výslovně zmiňuje i požárem zničené „rytířské sídlo“.
Na konci 18. nebo na začátku 19. století (přesný letopočet není znám) byl zámek znovu vystavěn v klasicistním slohu, a to již na novém místě, přibližně 200 metrů severovýchodně od původního sídla.
Na přelomu 19. a 20. století byl objekt neobarokně upraven do dnešní podoby. Rod Chorynských z Ledské držel Skaličku po dobu 106 let a stal se jejím posledním majitelem se šlechtickým titulem.
