Generolas Bžostovskis 1759 m. pastatė koplyčią. 1797 m. joje būdavo ketveri atlaidai per metus. 1861 m. koplyčia suremontuota. Per Pirmąjį pasaulinį karą sudegus Varėnos bažnyčiai, jos klebonas Juozapas Stasys persikėlė į Akmenį, pastatė kleboniją, padidino koplyčią. 1919 m. įsteigta parapija. Akmuo garsėjo Švč. Jėzaus Širdies (dešimtinės) atlaidais.
Akmenio Nukryžiuotojo Jėzaus bažnyčios istorija – tai tikėjimo ir atkaklumo liudijimas. Nuo kuklios koplyčios, pastatytos generolo Bžostovskio, iki parapijos įkūrimo 1919 metais, bažnyčia išgyveno įvairius išbandymus, įskaitant Pirmojo pasaulinio karo siaubą, kai sudegė Varėnos bažnyčia ir klebonas Juozapas Stasys rado prieglobstį Akmenyje, plėsdamas čia esančią koplyčią. Keturi atlaidai per metus jau 1797-aisiais liudija apie ankstyvą ir stiprų tikinčiųjų bendruomenės ryšį su šia šventa vieta. Akmenio krašto gyventojų pamaldumas ir atsidavimas Švenčiausiajai Jėzaus Širdiai, apibūdintas kaip „dešimtinė“, atspindi gilią jų tikėjimo tradiciją. Galbūt būtent ši nuoširdi malda ir tikėjimas padėjo išgyventi sunkius laikus ir atstatyti bažnyčią po nuostolių. Prisiminkime Jėzaus žodžius iš Evangelijos pagal Matą: „Kur yra du ar trys susirinkę mano vardu, ten esu aš tarp jų.“ Šie žodžiai puikiai atspindi Akmenio bažnyčios istoriją – bendruomenės tikėjimas ir malda buvo ir tebėra jos stiprybės šaltinis. Bažnyčios augimas ir klestėjimas – tai Dievo malonės ir žmonių pastangų rezultatas, liudijantis apie neblėstančią tikėjimo galią. Bažnyčia, kaip ir pats Jėzus, yra uosto vieta, kur galima rasti paguodą, viltį ir dvasinį atgimimą. Apie konkrečias įdomybes ar istorijas, susijusias su Akmenio Nukryžiuotojo Jėzaus bažnyčia, informacijos nėra.