A unos cientos de metros del embalse de Karandahela, en la esquina de Hulannuge, se encuentra HabuthalaViharaya o Tharulengala Forest Hermitage. Construido antes del siglo II a. cuevas salientes en el país. Esta cueva saliente de goteo de 512 pies de largo tiene 30 pies de ancho y 82 pies de alto en el punto más alto con ocho niveles en su interior. Los signos de interiores con capas de ladrillo y paredes interiores pulidas y cementadas aún permanecen dentro de la cueva, lo que indica que la cueva se utilizó como sala de culto o de reunión para los monjes del monasterio. Se desconoce la época y el origen de su construcción ya que hasta el momento no se han descubierto inscripciones en su interior.
Cerca de esta cueva gigantesca hay otra de 200 pies de largo, repisa de goteo y construida con el mismo acabado interior, que se cree que se usó como un barrio comunitario que como una morada individual. La siguiente cueva más grande en el complejo es una cueva diseñada como un santuario habitación. Situada cerca de la entrada al monasterio, la cueva mide 175 pies de largo, 31 pies de ancho y 35 pies de alto y alberga una estatua de Buda reclinada de 41 pies, ahora considerablemente dañada por los cazadores de tesoros. Una vez que las paredes interiores y los techos de la cueva, enlucidos y adornados con murales, habían cedido a los peligros del tiempo, revelando dibujos anteriores de la comunidad Vedda, que había llamado a las cuevas su hogar antes de la construcción del monasterio. Los dibujos incluyen escenas de caza, guerra y rebaños de animales, lo que sugiere un estilo de vida prehistórico que se perdió hace mucho tiempo. La entrada a la cueva está adornada con una simple escalera tallada en roca y un sandakadapahana o piedra lunar, que hoy se encuentra en ruinas. En la orilla del agua de este tanque de Karandewewa se encuentran los restos de una estupa antigua que pertenece a las primeras construcciones del monasterio. Otras dos estupas en ruinas se encuentran más arriba y se cree que consagraron al resto de los arhants, que una vez meditaron en los terrenos de Habuthala. Dispersos entre los terrenos de Habuthala Viharaya hay estanques de rocas de varios tamaños. Creados para almacenar agua para el uso de cientos de monjes que vivían y meditaban en Habuthala viharaya, estos estanques son los terrenos de juego y las moradas de los leopardos y osos salvajes, que habitan la mayoría de las cuevas del monasterio en la actualidad.