Wir können vermuten, dass die Idee des neuen Grafen Ferdinand Hroznata, Freiherrn Kokořovec von Kokořov diesen verlassenen und verwahrlosten Felsen in einen bedeutenden Wallfahrtsort betreut von Tertianern umzuwandeln, in der Zeit nach 1680 langsam reifte . Es sollte ein Bauwerk geschaffen werden im Geiste der damaligen baulichen Bestrebungen um ein “Sacre reppresentazioni“.

Leider kennen wir die wirklichen Gründe der gräflichen Entscheidung nicht. Wir wissen aber, dass die Familie Kokořov den Heiligen Franziskus von Assissi verehrt hat und die Missionstätigkeit unterstützte. Ein Einfluss der gerade wütenden Pest im hiesigen Gebiet und der Einfluss des damit in Verbindung stehenden Kults der einstigen Einsiedlerin, der Heiligen Rozalie, die den Herrn um ein Ende des Leides gebeten hat, sind nicht auszuschlieβen. Sehr wahrscheinlich ist auch die Inspiration durch bedeutende Bauwerke und Orte in anderen Teilen der Welt.

Ganz sicher ist jedoch der Zauber des Ortes an sich. Die Felsformation erweckt Überraschung und auch Erstaunen, als ob sie schon Eigenschaften von Barockbauten noch vor ihrem Ausbau besessen hätte. Sie ist malerisch und monumental, ihre vertikale Ausdehnung steht im Kontrast zu dem flachen Tal, und die durch Erosion zerklüftete Dynamik der Felswände steht im Kontrast zur ruhigen Wasserfläche.

Wir können nur vermuten, dass auch die ursprünglichen mittelalterlichen Felsinnenausstattungen, auch wenn nicht gerade zahlreich und noch bevor sie durch Umbauten vernichtet wurden, inspirierend auf den Baumeister gewirkt haben und ihm Impulse gaben. Faszinierend sind zwei Pläne: So ist der allein stehende Felsen ein eigenartiges Naturgebilde vor dem Hintergrund der umgebenden Landschaft und der Felsen an sich – sein oberer Teil – bildet den Hintergrund für die endgültige architektonische Vollendung. In den Augen des Betrachters kommt es dann zu einer optischen Verschmelzung beider Pläne.

Umbauten haben den Felsen grundsätzlich verändert. Der heutige Besucher muss deutlich unterscheiden zwischen dem Mittelalter, hier vertreten durch wenige Überreste, und dem Barock, das dem Objekt sein heutiges Aussehen gegeben hat und repräsentiert ist in der Mehrzahl der errichteten Räume und Objekte. Damals entstanden sowohl der Kern der Klausur mit der Kirche und den Kreuzgängen (ohne Paradieshof) als auch die südlichen Terrassen mit den Abbildungen des Kreuzweges und später auch mit dem Garten und Weinbergen. Diese als auch alle anderen Räume strahlen auch heute noch Religiosität aus und berichten von der bewunderungswürdigen Kunst barocker Meister, das Werk von Menschen mit den Naturgegebenheiten verbinden zu können. Es entstand eine harmonische Verbindung von Gegensätzen: des rationalen Planes mit der amorphen Materie.

Die architektonische Konzeption und die Bauleitung werden dem ersten Ordensbruder, dem Baumeister Konstantin, zugeschrieben. Nach seinem Tode trat der Maler Václav Rincholin (Wenzel) dem Orden bei. Graf Ferdinand Hroznata starb jedoch im Jahre 1708 und seine Vision hat sich leider nie ganz erfüllt. Den Groβgrundbesitz kaufte im Jahre 1710 Graf Václav Norbert Oktavián Kinský, oberster Kanzler des Kaisers, Herr von Kamenice und Chlumec und Besitzer von mehreren Gütern in Ost- und Mittelböhmen. Er teilte nicht die spirituelle Begeisterung seines Vorgängers und hatte kein Interesse an der Fertigstellung des heiligen Ortes. So zog Václav Rincholin fort, die Arbeiten wurden eingestellt, die Glocke und die Statue der Heiligen Jungfrau Maria der Schmerzensreichen wurden aus der Burgkirche “Na Kameni” (Auf dem Stein) entfernt und in der neuen Kirche der Heiligen Katharina im Ort untergebracht. Die Umbauten auf der Burg wurden dann erst nach dem Tode von Norbert Oktavián im Jahre 1719 fortgesetzt, jedoch schon in einem anderen Geiste. Als Ergebnis der damaligen Idealisierung des antiken ländlichen Raumes und des Asketismus des früheren Christentums entstand hier schrittweise eine arrangierte und religiös romantische Einsiedelei mit pittoresken bis kuriosen Details. Bis zum Jahre 1782 lebten hier noch vier Einsiedler, manchmal nur einer allein, manchmal zwei gemeinsam: Jakub Borovanský, Antonín Hölzel, der Gärtner und Optiker Samuel Görner und der Weber Antonín Müller. Diese adelige Eremitage wurde noch zu ihrer Zeit eine gesellschaftliche Attraktion. Viele bedeutende Gäste des Schlosses von Sloup (fertig gestellt: 1733) besuchten auch kurz die hiesige Einsiedelei, sei es zur Meditation oder wahrscheinlich mehr zum Vergnügen. Die Einsiedelei ist dann im Jahre 1782 auf Anordnung des Kaisers Josef II. im Rahmen umfangreicher gesellschaftlicher und ökonomischer Reformen untergegangen.

Die ehemalige Einsiedelei wird immer häufiger zum Ziel von Ausflüglern. Die Behausung des letzten Einsiedlers wurde in ein “Gästehäuschen” umgewandelt und es kam hier zu weiteren Umbauten. Diese waren einerseits bedingt durch ästhetische Vorstellungen des aufkommenden Romantismus, andererseits durch praktische Bedürfnisse der anwesenden Besucher (z.B. der Umbau des östlichen Eingangs und der mit ihm verbundenen Räume zum heutigen Aussehen oder das Aufstellen von Zäunen). Diese Umbauten haben jedoch nicht den barocken Charakter zerstört, der bis heute unverändert geblieben ist.

Unter der Abbildung der Felsenburg von F.K. Wolf aus dem Jahre 1797 finden wir die Bezeichnung Alt Birgstein, was an den mittelalterlichen Ursprung des Objektes errinnert. Die Aufmerksamkeit der Künstler jener Zeit, aber auch von Forschern und Enthusiasten begann sich auf das Mittelalter zu richten, das jedoch zu sehr idealisiert wurde. Es setzte sich ein romantischer Mythos über die vergangene Ritterzeit durch, der jedoch mit der Realität nicht viel Gemeinsames hatte.

Die Adelsfamilie von Kinský, die hier von 1710 an waltete, machte sich verdient um die Entwicklung des Besitzes. Die herausragendste Person in dieser Hinsicht war Jan Josef Maxmilián Kinský. Nach dem Tod von August František Kinský ging das Vermögen an seinen Schwiegersohn über, an den deutschen Adeligen Emanuel Preysing. Im Jahre 1945 wurde der Besitz zum Volkseigentum erklärt und der Felsen später zum Kulturdenkmal.