Zamek W Szydłowcu to jedna z najpiękniejszych wczesnorenesanso- -wych rezydencji magnackich w Polsce. Według zachowanych dokumentów już w 1427 r. istniał tutaj kamienny budynek dworu, należącego do Jakuba i Sławka Odrowążów, protoplastów rodziny Szydłowieckich.
W wykopaliskach archeologicznych zlokalizowano też resztki starszych konstrukcji drewnianych, datowanych na XIII wiek. Ze względów obronnych zamek zbudowany jest na wyspie w rozlewiskach Korzeniówki i otoczony fosą. Powstawał etapami - najstarszą część tzw. "dom zamkowy" (dzisiejsze północne skrzydło zamku) wybudował w XV wieku z miejscowego piaskowca Stanisław Szydłowiecki. W następnym etapie powstała wieża bramna, która została połączona murem obwodowym z budynkiem mieszkalnym. Fragmentem dawnego muru obwodowego jest zachowany do dzisiaj od strony południowej mur kurtynowy. Po śmierci Stanisława Szydłowieckiego rozbudowy zamku w stylu renesansowym dokonał jego syn - Mikołaj Szydłowiecki. Dobudował on dzisiejsze reprezentacyjne skrzydło wschodnie. Skrzydło zachodnie, tuż obok wieży bramnej, wybudowała prawdopodobnie córka kanclerza wielkiego koronnego Krzysztofa Szydłowieckiego - Elżbieta lub Radziwiłłowie, w których ręce przeszedł zamek poprzez małżeństwo Elżbiety z Mikołajem Krzysztofem "Czarnym". Pomimo tego, że Radziwiłłowie zamieszkali na stałe w Nieświeżu, zamek był stale rozbudowywany i upiększany. Był okazały nie tylko z zewnątrz. Wnętrza wyposażone były w bogate portale z miejscowego piaskowca, polichromowane stropy kasetonowe, fryzy, piece z wielobarwnych kafli i ozdobne posadzki. W 1562 r. właścicielem miasta i zamku był Mikołaj Krzysztof Radziwiłł "Sierotka", a od 1619 r. jego syn Albrecht Władysław Radziwiłł, kasztelan trocki. Współczesny wygląd zamku pochodzi właśnie z czasów "Hrabstwa Szydłowieckiego" Radziwiłłów. Zamek należał następnie do kolejnych Radziwiłłów - Zygmunta Karola, Aleksandra Ludwika, Michała Kazimierza i Leona Kazimierza. Ostatnim właścicielem był Mikołaj Radziwiłł, po którego bezpotomnej śmierci zamek został sprzedany Annie z Zamoyskich Sapieżynie, która w 1828 r. odsprzedała zamek wraz z dobrami szydłowieckimi rządowi Królestwa Polskiego. Zamek zamieszkany był do lat 40-tych XIX w. Podupadł, kiedy trafił w ręce rodziny Engemanów, użytkujących go jako browar. W czasie II wojny światowej zamek był zamieszkany przez uchodźców z ówczesnych terenów III Rzeszy (dzisiejsze Oborniki), następnie okupanci utworzyli w nim getto dla ludności żydowskiej, którą po zlikwidowaniu getta przewieziono do obozu koncentracyjnego w Treblince. W latach 1949 - 1958 przeprowadzono na terenie zamku badania archeologiczne, a w latach 60-tych XX w. gruntowne prace remontowe. Zamek jest przykładem zastosowania miejscowego kamienia - piaskowca szydłowieckiego, z którego powstały nie tylko mury, lecz także wiele ozdobnych detali, jak schody, kolumny, filary, balustrady, portale i kominki. Na uwagę zasługuje kamienny portal nad wejściem do biblioteki z herbami Radziwiłłów. Jest on przykładem zastosowania szydłowieckiego piaskowca w rzeźbie dekoracyjnej. W zamku mieści się obecnie Szydłowieckie Centrum Kultury, Biblioteka Publiczna oraz Muzeum Ludowych Instrumentów Muzycznych.
