Panskú kaplnku v stiesnenom priestore pri Matúšovej veži dala postaviť majiteľka hradu kráľovná Barbora Celjská v 15. storočí. Kaplnka nahradila románsku rotundu z 11. storočia. Panská kaplnka mala steny zdobené gotickými freskami so svätcami. Pod oltárnou časťou sa nachádzala menšia krypta.

Zmeny na hornom hrade

Po požiari v roku 1790 prišla kaplnka o strechu a o obytné poschodie nad ňou, čo spôsobilo, že sa podmáčaný strop kaplnky začiatkom 19. storočia zrútil. Z kaplnky sa stala ruina. V súčasnosti v jej ruinách možno vidieť pozostatky krížovej klenby z obdobia renesancie. V septembri 2020 sa v Panskej kaplnke uskutočnila Ekumenická liturgická slávnosť. V ruinách sakrálnej pamiatky požehnali počas slávnosti predstavitelia troch cirkví drevený kríž.