Vakarinis Vilkaviškio apskrities pakraštys, nuo 1422 metų, priklausė Žemaičių vyskupystei, Žaliosios apylinkė buvo 1617 metais isteigtos, ir Vilniaus vyskupijai priklausančios, Alvito parapijos dalis. Kraštą 1795 metais okupavus vokiečiams, vėliau prancūzams bei rusams, 1798 m. čia buvo įsteigta Vygrių ir, nuo 1818 metų, Seinų vyskupija.
Su savos, nuo Alvito nebepriklausomos parapijos viltimi, Žaliosios apylinkių žmonės sudarė komitetą, kuris iš Prienų žydų 1892 metais nupirko medinę šešiakampę sinagogą ir perstatė ją į didelę, vėliau trijų altorių, Šv. Rokui dedikuotą koplyčią Žaliosios kapinėse. Bet nei Seinų vyskupas, nei rusų valdžia naujai parapijai leidimo nedavė. Koplyčią laikinai aptarnavo Alvito kunigai.
Pirmajam Pasauliniam karui pasibaigus, nepriklausomos Lietuvos žemės reforma paskyrė nemažą žemės plotą parapijos reikalams. Apie 1923 m. koplyčia buvo padidinta ir atnaujinta, buvo naujai aptvertos kapinės ir būsimajam klebonui pastatyta mūrinė klebonija bei kiti ūkio pastatai. Pagaliau, 1924 metais, Žaliosios parapija buvo įkurta. Koplyčia gavo Žaliosios Šv.Roko bažnyčios vardą.
Pirmasis Žaliosios klebonas buvo Martynas Krūvelis (1886-1954). Klebonas Anastazas Sebastonis, 1934 metais, bažnyčią vėl atnaujino. 1940 metais, parapija apjungė apie dešimtį gyvenviečių ir turėjo 1396 narius. Energingo klebono Andriaus Senkaus vadovaujama, ji buvo visos plačios apylinkės dvasinės traukos ir vidinio pasaulio ugdymo centras.