Zamek składa się z dwóch części. Najważniejszą wydaje się umieszczona na wyspie część mieszkalna - rezydencja. Prowadził do niej dziś już nie istniejący most. Późniejsze przebudowy prowadzono w części znajdującej się przed mostem (przedzamcze) i ona dziś znajduje się w najlepszym stanie. Porzucone zabudowania na wyspie niszczały. Rozlewisko otaczające wyspę w rzeczywistości jest pozostałością nawadnianej fosy o szerokości 16m. Porównując starsze zdjęcia z tymi z lipca 2010 zauważyć można wycięcie na wyspie krzaków zasłaniających ruiny. Obecnie trwają na terenie przedzamcza prace budowlane - tak przynajmniej jest napisane na ogrodzeniu.
Zamek uległ Szwedom podczas Potopu. Nie został jednak zniszczony. Przebywał w nim Rakoczy i tu spotkał się w 1657 z Karolem Gustawem (kwaterującym w Zawichoście). Zapewne dopiero opuszczając zamek Rakoczy go zniszczył. W 1702 roku bowiem rozpoczęto rozbiórkę zamku. Przedzamcze pełniło funkcję browaru od początku wieku XIX. Na początku XX wieku znajdowała się w nim łaźnia. O dawnej rezydencji przypomina dziś tylko zapis kronikarski umieszczony też na tablicy informacyjnej koło zamku:
Było.... w Ćmielowie Szydłowiecki pobudował tak piękne gmachy i tak je malowidłami ozdobił, że zjeżdżali się nawet ludzie obcy cuda te oglądać: przedsionki, komnaty, izby niewieście, ogrody, spacery, ganki, sale senatorskich narad - wszystko było wspaniałe...