Nach dem riesigen Umbau unter den Herren von Sternberg am Ende des 15. Jahrhunderts und am Anfang des 16. Jahrhunderts erhielten sich nur einige Räume im Erdgeschoss, zum Beispiel im westlichen Gebäudeflügel gibt es einen spätgotischen Saal mit einem Netzgewölbe, in dessen Gerippe die Schilde mit den Sternen der Herren von Sternberg sind. Die einzigartige Architektur entstand auch dank der Teilnahme der Steinmetzen aus der Prager Burghütte. Einer von ihnen war auch Wendel Rosskopf, der im Jahre 1515 den bis heute im Erdgeschoss erhaltenen Saal baute.

Das Schloss verdankt ihre heutige Form vor allem den Bauaktivitäten des Herrn Peter Wok von Rosenberg, der die ursprüngliche gotische Burg in einen gemütlichen Renaissancesitz mit erhaltener Freskoausschmückung verwandelte. In den neuen Renaissanceräumen hatte der letzte Herr von Rosenberg im Jahre 1580 auch seine Hochzeit mit Kateřina von Ludanice. Unter den bedeutenden Gebäuden in der Umgebung des Schlosses sind vor allem der spätgotische Speicher, heute V. Preclíks Museum, oder die romantisch umgebaute Reithalle, die als Mehrfunktionssaal funktioniert, zu nennen. Südlich vom Schloss zieht die Aufmerksamkeit die mächtige Abwehrmauer an, die als „Čertova“ – „Teufelsmauer“ bezeichnet wird, und in der dramatischen Lage auf dem Felsenvorsprung über dem Fluss Lainsitz gibt es den Meldeturm Kohoutek, den ursprünglichen gotischen Turm, der zur Kontrolle des wichtigen Eintrittswegs von der Brücke zu der Stadt diente.