Iki 1440 m. Zigmantas Kęstutaitis Rukainius paskyrė Vilniaus arkidiakonui (vyskupo padėjėjui). Vilniaus vyskupas Paulius Algimantas Alšėniškis Rukainiuose 1538 m. pastatė medinę bažnyčią ir įkūrė parapiją. Bažnyčia žemės valdų neturėjo, kleboną išlaikė arkidiakonas. Parapija minima ir 1744 m. XVIII a. pabaigoje veikė parapinė mokykla. Prancūzijos kariuomenė 1812 m. sudegino bažnyčią ir keboniją.
1818–1823 m. bažnyčia atstatyta. Ją Rusijos valdžia atėmė ir pertvarkė į stačiatikių cerkvę. Cerkvė 1889 m. rekonstruota. Rukainiuose klebonavo ir mirė prelatas Povilas Ksaveras Bžostovskis (1739–1827), „Pavlovo respublikos“ organizatorius. Vidaus reikalų ministras 1907 m. leido toliau nuo cerkvės statyti mūrinę bažnyčią, bet iš pradžių pasistatyti laikiną, medinę.
1909 m. įrengta laikina bažnyčia, kurioje 1910 m. leista laikyti pamaldas. 1912 m. pastatyta nauja medinė. 1918 m. pamaldos perkeltos į grąžintą mūrinę. Administratorius kunigas Alfonsas Tamulaitis (1928–1990), (Rukainiuose nuo 1961 m.) bažnyčią 1968 m. suremontavo ir išdažė.
Įdomu tai, kad nors bažnyčia neturėjo didelių žemių, klebonus išlaikė Vilniaus arkidiakonas. Tai rodo, kad Rukainiai buvo svarbus dvasinis centras, kurio išlaikymu rūpinosi aukštesnė bažnytinė valdžia. Tai buvo tarsi bendruomenės paramos sistema, veikianti per vyskupijos struktūrą.
Kai 1907 metais buvo leista statyti naują mūrinę bažnyčią, pirmiausia pastatyta laikina medinė. Tai rodo didelį tikinčiųjų entuziazmą ir norą greičiau turėti savo šventovę, net jei ji būtų laikina. Jie nebijojo sunkumų ir norėjo greičiau grįžti prie pilno pamaldų gyvenimo. Šis greitas atstatymo ir įsikūrimo procesas liudija apie stiprų vietos bendruomenės ryšį su Šv. arkangelo Mykolo garbe.