K založení kaple se váže pověst: Mladý hrabě Josef Jan Maxmilián Kinský vykonal kavalírskou cestu na Maltu, kde se stal rytířem Maltézského řádu. Při návratu z ostrova stihla loď příšerná bouře. Hrabě, přemožen hrůzou ze smrti, se úpěnlivě modlil k novému slavnému světci a prosil Svatého Jana Nepomuckého o spásu se slibem zbudovat a zasvětit mu kapli na svém sloupském panství. Čehož se následně oběma dostalo – hraběti záchrany a světci kaple.