Pierwsza wzmianka o zamku w Rytwianach pochodzi z 1397 r. kiedy to warownia była przedmiotem sporu w rodzie Jelitczyków.
Wówczas to Klemens Mokrski, kasztelan radomski domagał się oddania zamku przez Małgorzatę, wdowę po Paszku z Rytwian. Klemensa Mokrskiego uważa się za fundatora murowanego zamku, który miał powstać najpóźniej w końcu XIV w. (inne źródła wspominają o rodzie Bogoriów). Powstały wówczas zamek założony został na podmokłych łąkach nad rzeką Czarną. Był to jeden budynek, jednotraktowy, trzykondygnacyjny o wymiarach 13x39 metrów z wieżą, usytuowany był na osi wschód-zachód, otoczony fosą i wałami. To właśnie taki zamek nabył na początku XV w. biskup Wojciech Jastrzębiec, który przeprowadził rozbudowę warowni. Całość dotychczasowego założenia otoczono obwodem murów obronnych na rzucie prostokąta, przy północnej kurtynie wzniesiono nowy, większy budynek (około 50 metrów długości) zwany Domem Wielkim. Brama wjazdowa z mostem zwodzonym została umieszczona bezpośrednio we wschodnim odcinku murów. W dokumentach z tego okresu wymieniana jest także zamkowa kaplica. Całość założenia otoczono fosą zasilaną wodami nieopodal przepływającej rzeki Czarnej. Dzieje zamku były bardzo burzliwe. Z potężnej niegdyś warowni do dziś ocalał jedynie wysoki na kilkanaście metrów narożnik ze skośną przyporą należący do jego południowego (najstarszego) skrzydła. Zbudowany z kamieni wapiennych oblicowany cegłą zendrówką w układzie ciemnych rombów posiada w górnej części ozdobny fryz z cegieł ustawionych rębem skośnie. Belki stropowe wyznaczają trzy poziomy kondygnacji nadziemnych i jednej w przyziemiu zbudowanej z kamienia. Wewnątrz widoczne są ślady trzech kondygnacji. Widoczny z daleka fragment baszty świadczy o potędze i świetności rytwiańskiego zamku.
Źródło: tablica informacyjna obiektu