W Rajczy można zobaczyć pałac zbudowany w 1833 roku przez Anastazego Siemiońskiego. Dwadzieścia jeden lat później Rajcza zostaje przejęta przez Teodora Primavesi, który w latach 1854-93 nadaje pałacowi konkretny kształt. Kolejnymi jego właścicielami byli Lubomirscy (1895-1906) i Habsburgowie (1914-1916). W 1916 obiekt zostaje przekazany na cele sanatoryjno-szpitalne. Od tamtego czasu aż do chwili obecnej pałac służy chorym.

Właścicielem Rajczy stał się w roku 1833 Anastazy Siemioński, z tą datą należy wiązać budowę pierwszego pałacu. Dalsza rozbudowa pałacu i parku do niego przylegającego natępuje po roku 1843, kiedy Anastazy Siemioński założył w Rajczy zakład żelazny. Pałac swój konkretny kształt przybrał za sprawą Teodora Primavesi, który w latach 1854 - 1893 przejął Rajczę. Za czasów Teodora Primavesi w parku przypałacowym znajdowały się liczne rzeźby, staw i unikatowy drzewostan. W latach 1895 - 1906 pałac przechodzi kolejną gruntowną przebudowę za sprawą rodu Lubomirskich. W 1914 r. Rajcza zostaje sprzedana przez Lubomirskiego arcyksięciu Stefanowi, Karolowi Habsburgowi, który był już właścicielem zamku w Żywcu. W 1916 r. arcyksiążę Stefan Karol Habsburg przekazuje obiekt na cele sanatoryjno-szpitalne dla kombatantów I wojny światowej. W 1918 r. pałac wraz z parkiem oficjalnie zostają przekazane na szpital wojskowy Czerwonego Krzyża dla "piersiowo chorych". Do II wojny światowej budynek pod zarządem Czerwonego Krzyża pełni różne role od szpitala po sanatorium przeciwgruźlicze, lecząc kombatantów wojennych i żołnierzy. W czasie II wojny światowej w obiekcie pałacowym mieścił się niemiecki szpital Wermachtu. W roku 1945 do pałacu wkraczają Rosjanie i dewastują jego zabytkowe wnętrze. Po zakończeniu wojny stworzono tutaj ośrodek dla inwalidów wojennych, a w roku 1954 utworzono w pałacu Państwowe Sanatorium Przeciwgruźlicze. W 1966 r. przeprowadzono remont obiektu i w wyniku zaniedbań nastąpiła kolejna dewastacja zabytkowych wnętrz pałacowych. W latach 1966/7 do pałacu dobudowana zostaje nowa część, w której w chwili obecnej mieści się kaplica i świetlica.W 1991 r. budynek zostaje przekształcony w Państwowy Zakład Opiekuńczo-Leczniczy, a od 1999 r. znajduje się tutaj Samodzielny Publiczny Zakład Opiekuńczo-Leczniczy dla przewlekle chorych z Ośrodkiem Rehabilitacyjno-Geriatrycznym.