Po delším období, kdy o osudech Sloupu nemáme zpráv, se kolem roku 1440 objevuje na Sloupu Mikeš Pancíř ze Smojna (Smojno bývala tvrz u Zákup). Tento proslulý válečník držel během husitských válek hrad Fredevald u České Kamenice, odkud podával zprávy lužickým městům. Současně ale také využíval období dočasného zmírnění válečného napětí k vlastním loupeživým výpravám proti Lužičanům.

Proto nijak nepřekvapí, jestliže se po roce 1433 připojil k mocným Vartenberkům v jejich válce s lužickým Šestiměstím. Spolu konali loupeživé nájezdy do Lužice: v roce 1441 vypálili předměstí Žitavy, roku 1442 plenili v okolí Budyšína a v roce 1443 vypověděli nepřátelství Praze. Roku 1444 uskutečnili Lužičané výpravu proti Vartenberkům a také proti Mikešovi. Sloupské panství bylo poničeno, Mikeše se však vypudit nepodařilo.

Za rok byl Sloup cílem další trestné výpravy, v níž se proti Pancířovi spojilo vojsko lužického Šestiměstí s litoměřickým lanfrídem – krajskou vojenskou hotovostí pod společným vedením Jana Smiřického. Sloup byl údajně obléhám pět týdnů, hrad poničen a podle uzavřeného míru nesměl být bez výslovného králova souhlasu znovu obnoven. Mikeš za zničení hradu obdržel peněžité odškodné 72 kop grošů, které bylo rozpočteno na jednotlivá města Šestiměstí. Opevnění však údajně bylo záhy obnoveno.