Generolas Bžostovskis 1759 m. pastatė koplyčią. 1797 m. joje būdavo ketveri atlaidai per metus. 1861 m. koplyčia suremontuota. Per Pirmąjį pasaulinį karą sudegus Varėnos bažnyčiai, jos klebonas Juozapas Stasys persikėlė į Akmenį, pastatė kleboniją, padidino koplyčią. 1919 m. įsteigta parapija. Akmuo garsėjo Švč. Jėzaus Širdies (dešimtinės) atlaidais.
Įdomu tai, kad viena iš ankstyvųjų šventovių Akmenyje buvo skirta ne Jėzui Nukryžiuotajam, o Švč. Mergelei Marijai. Tai rodo, kaip bėgant laikui ir keičiantis pamaldumo tradicijoms, keitėsi ir vietos tikinčiųjų dvasinis dėmesys. Kai buvo įsteigta parapija, Nukryžiuotojo Jėzaus kultas tapo pagrindiniu, o tai pabrėžė aukos ir išpirkimo temą vietos tikinčiųjų gyvenime.
Senieji atlaidai, ypač tie, kurie buvo vadinami dešimtinės atlaidais, liudija apie stiprų ryšį tarp tikėjimo ir bendruomenės paramos. Tai buvo metas, kai žmonės ne tik meldėsi, bet ir dalinosi savo gėrybėmis, taip palaikydami bažnyčios veiklą. Ši vieta visada buvo dvasinis centras, kur žmonės rasdavo ramybę.