Jedan od preistorijskih lokaliteta, smješten dva kilometra od Petro-Pavlovog manastira, je Pavlova pećina, koja je bogata pećinskim nakitom. U njoj dominiraju masivni oblici pećinskih stubova građeni od krupnih kristala kalcita.
Postoji više narodnih legendi vezanih za pećinu, što joj daje poseban značaj. Prema davnom predanju, u ovu pećinu je dolazio sveti apostol Pavle, pa joj otuda i ime. On je, krijući se od rimske vlasti, u ovoj pećini pokrštavao narod. Tradicionalno se svake godine u pećini, na Petrovdan, okuplja veliki broj vjernika uz prisustvo sveštenika koji obavlja službu. Pećina ima kameni oltarski dio i ikonu svetog apostola Pavla. Sama pećina se sastoji od nekoliko dvorana bogato ukrašenih stalaktitima i stalagmitima. U unutrašnjosti pećine se nalazi i malo jezero koje se povezuje sa vjerovanjem da će djevojke koje se umiju njegovom vodom na Petrovdan biti lijepe i privlačne, a vjeruje se i da je ta voda ljekovita.