Na początku XVII w. powstał w Czańcu pierwszy renesansowy dwór, który obejmował południowe skrzydło obecnego budynku. Kiedy jego właścicielami w połowie XVII w. była rodzina Stokowskich herbu Drzewica, dwór został przebudowany na rezydencję.

Powstało wtedy skrzydło północne z kaplicą i klatką schodową oraz galerie tworzące centralny dziedziniec. Kolejnej przebudowy dokonał kasztelan oświęcimski Franciszek Szwarcenberg Czerny, który kazał zamurować arkady elewacji frontowej i dodał  ryzalit z późnobarokowymi dekoracjami od strony ogrodu. W latach 1882 - 1925 właścicielami dworu byli żywieccy Habsburgowie. W 1925 r. Karol Stefan Habsburg przekazał dwór z folwarkiem i ogrodem Polskiej Akademii Umiejętności, która w budynku utworzyła ośrodek konferencyjny. Po 1945 r. w budynku, który nie ucierpiał w wyniku działań wojennych umieszczono w ramach kwaterunku mieszkańców okolicznych wsi, którzy mieszkali we dworze do lat 70-tych XX w. Dwadzieścia lat później prywatny inwestor rozpoczął remont budynku, który jednak z braku funduszy został wstrzymany. W 2008 r. pojawiła się kolejna szansa na wyremontowanie obiektu. Jak widać na zdjęciach w chwili obecnej we dworze w dalszym ciągu pracują ekipy budowlane. Budynek ma być w przyszłości
zaadaptowany na cele mieszkalne.