Las cuevas están repartidas en diferentes niveles entre el bosque y cada nivel se podía llegar a través de una escalera de piedra, siendo la que conduce a la cima de la montaña la más singular y célebre.
Algunas de las cuevas de meditación originales se habían convertido en santuarios durante la época del rey Walagamba con murales en las paredes y el techo y una estatua de Buda reclinada de 18 pies. El nivel del suelo al que se llega después de una pequeña y constante subida consiste en el templo principal y la mayoría de las cuevas se encuentran en este nivel, siendo la más grande la sala de meditación. Otra gran cueva se convirtió en la sala del santuario principal, mientras que la stupa en el nivel del suelo se construyó durante el siglo pasado.