Z inicjatywy księcia zatorskiego Wacława w połowie XV w. w miejscu wcześniejszego warownego grodu wybudowano zamek. Do 1513 r. zamek był siedzibą książąt zatorskich, z górnośląskiej linii piastowskiej, później starostów. W roku 1945 zamek został przez władze PRL bezprawnie odebrany rodzinie Potockich. Obiekt uległ zniszczeniu w okresie okupacji hitlerowskiej. Od 1946 roku był siedzibą Instytutu Zootechniki, ostatnio Rybackiego Zakładu Doświadczalnego. W latach 1964 - 1973 budynek został gruntownie odrestaurowany. W 1973 r. zostały odremontowane wnętrza zamku oraz udostępniono turystom do zwiedzania cztery sale. Od 2005 r. zamek stoi opuszczony, brama do niego jest zamknięta i nie ma możliwości podejścia bliżej do zamku.
W drugiej połowie XVII w. Fryderyk Piotr Dunin - ostatni starosta przebudował zamek poprzez dobudowanie drugiego piętra i zlikwidowanie wykusza nad wejściem. W 1836 r. obiekt ponownie przebudowano - kolejni właściciele rodzina Potockich częściowo odrestaurowała pałac wg. projektu F.M. Lanciego nadając mu formę rezydencji w stylu romantycznego neogotyku. W czasie II wojny światowej w zamku znajdował się obóz dla przesiedleńców niemieckich.