Nejspíše můžeme věřit, že někdy po r. 1680 dozrávala představa nového hraběte Ferdinanda Hroznaty, svobodného pána Kokořovce z Kokořova zcela přeměnit opuštěné a zanedbané skalní torzo ve významné poutní místo obsluhované terciáři a vytvořit tak stavbu zřejmě v duchu tehdejších stavitelských snah o „sacre rappresentazioni“.
Bohužel neznáme skutečné motivy hraběcího rozhodnutí. Víme však již, že rodina Kokořovců měla v převeliké úctě Svatého Františka z Assisi a podporovala misijní činnost. Není vyloučen ani vliv probíhající morové rány v kraji a s ním související vliv kultu dávné poustevnice Svaté Rozálie, orodující před Pánem za ukončení tohoto utrpení. Pravděpodobná je také inspirace významnými stavebními díly a místy v jiných částech světa.
Zcela jisté je však uhranutí místem samým. Skalní útvar vzbuzující překvapení a údiv, jakoby již vlastnil kvality barokního díla ještě před jeho započetím. Je malebný i monumentální, jeho vertikální vzepjetí kontrastuje s plochým dnem údolí, erozí rozeklaná dynamika stěn s klidnou vodní hladinou. Můžeme tušit, že i původní zdejší středověké, byť nepočetné skalní interiéry, dříve než přestavbou zanikly, zapůsobily na vnímavého stavitele jako inspirace a impuls. Fascinující je přítomnost dvou plánů: tak jako je osamělá skála svébytným přírodním projevem na pozadí okolní krajiny, tak skála samotná – její horní část – je pozadím pro konečný projev architektonický. V očích pozorovatele pak dochází k optickému spojení obou plánů.
Stavební úpravy vnesly do skalního útvaru zcela zásadní změny. Dnešní návštěvník by měl zřetelně rozlišovat mezi středověkem, obsaženým zde nečetnými relikty a barokem, které vtisklo objektu současný ráz a je reprezentováno převážnou většinou vybudovaných prostor a objektů. Tehdy vzniklo jak jádro klausury s kostelem a ambitem v hloubi skály (tedy bez rajského dvora), tak jižní terasy s nikami pro vyobrazení křížové cesty a následně i libosadem s vinicí. Všechny tyto a další prostory jsou dodnes prodchnuty nábožností a vypovídají o obdivuhodném umění barokních tvůrců propojit lidský výtvor a prostředí vytvořené přírodou – harmonické spojení protikladů: racionálního plánu s amorfní materií.
Architektonická koncepce a stavební vedení jsou připisovány prvnímu z řeholníků, staviteli Konstantinovi. Po jeho smrti vstupuje do řehole malíř Václav Rincholin. Hrabě Ferdinand Hroznata však v r.1708 umírá a jeho vize nebyla nikdy zcela naplněna. Panství kupuje roku 1710 hrabě Václav Norbert Oktavián Kinský, nejvyšší kancléř císaře, pán na Kamenici a Chlumci, držící mnoho statků ve východních a středních Čechách. Spirituálním rozechvěním svého předchůdce zřejmě neoplýval a o dostavbu posvátného místa se nezajímal. A tak se Václav Rincholin odstěhoval, práce byly zastaveny, zvon a socha Panny Marie Bolestné byly sneseny z kostela „Na Kameni“ a umístěny v novém kostele Sv. Kateřiny ve vsi. Úpravy pokračovaly až po smrti Norberta Oktaviána v roce 1719, ale již v poněkud odlišném duchu. V důsledku dobové idealizace antické venkovské prostoty a asketizmu ranného křesťanství, vzniká zde postupně více aranžovaná a nábožně romantická poustevna. Do r. 1782 zde žili ještě 4 poustevníci, někdy jeden o samotě, někdy dva pospolu: vysloužilý voják Jakub Borovanský, truhlář Antonín Hölzel, zahradník a optik Samuel Görner a tkadlec Antonín Müller. Šlechtická eremitáž se ještě ve své době stává společenskou atrakcí. Nejeden význačný host na novém sloupském zámku (dokončen 1733) pobyl krátce i na zdejší poustevně, ať už tam vystoupal za meditací, či pravděpodobněji za rozptýlením. Pro potřeby hostů byl na východním dvoře v r. 1770 postaven malý letohrádek (Lusthaus), takzvaný „návštěvnický domek“.
Poustevna v roce 1782 zanikla nařízením císaře Josefa II. v rámci rozsáhlých společenských a ekonomických reforem.
Bývalá poustevna nazývaná Einsiedlerstein (Poustevníkův kámen) se stávala čím dál víc cílem výletníků. Docházelo zde porůznu k úpravám, ať už vyvolaným estetickými představami období nadcházejícího romantismu, nebo praktickou potřebou vzniklou přítomností návštěvníků (např. dobudování východního vstupu a s ním souvisejících prostor do dnešní podoby, či výstavba plotů). Tyto úpravy však výrazně nenarušily barokní ráz, který zůstal nezměněn do dnešní doby.
Pod vyobrazením skalního suku od F. K. Wolfa z roku 1797 se objevuje název Alt Birgstein, připomínající středověký původ objektu. Pozornost umělců té doby, ale i badatelů a nadšenců se začala obracet ke středověku, který však byl značně idealizován. Prosazoval se romantický mýtus o zašlých časech rytířských, byť se skutečností měl často máloco společného.
Kinští, působící zde od r.1710, se zasloužili o značný rozkvět panství, které vlastnili až do roku 1940. Nejvýraznější osobností v tomto směru byl Josef Jan Maxmilián Kinský. Po smrti Augusta Františka Kinského (1941) přechází vlastnictví na jeho zetě, bavorského šlechtice Emanuela Preysinga. V r. 1945 byl majetek znárodněn a skalní suk později prohlášen kulturni památkou.
Linie rodu Kinských na Sloupu, viz: Kinští na Sloupu