Το Ασκητήριο, όπου κατά την παράδοση διέμεινε ο Όσιος Νείλος, ο κτήτορας της Μονής Γηρομερίου, βρίσκεται αριστερά του δρόμου, που οδηγεί από Φιλιάτες προς Τσαμαντά. Αποτελείται από ένα μικρό σύνολο φυσικών κοιλωμάτων σε βράχο, που φέρουν λαξεύματα και ίχνη οικοδομικής δραστηριότητας. Στην εξωτερική πλευρά του τοίχου, που βρίσκεται στην είσοδο μιας από τις σπηλιές, σώζεται τοιχογραφία Αρχαγγέλου, ενώ διατηρούνται και άλλες στο εσωτερικό της, από τον 14ο αιώνα. Πιθανότατα χρησιμοποιήθηκε ως ασκητικός χώρος ερημιτών, πολύ πριν την έλευση του Οσίου Νείλου. Υπάρχει δυνατότητα εύκολης πρόσβασης, όπου μπορεί κάποιος να προσκυνήσει στο διαμορφωμένο σε ναό σπήλαιο στη βάση του βράχου.