Pirmoji bažnyčia Rumšiškėse pastatyta XV a. pradžioje, vėlesnė – 1573 m. Lietuvos kancleris Albrechtas Stanislovas Radvila 1637 m. bažnyčiai dovanojo 8 valakus žemės, pievų. 1677 m. minima šiaudais dengta medinė bažnyčia, statyta po 1660 m. klebono Aleksandro Giedraičio rūpesčiu. Ji 1707 ir 1721 m. gerokai remontuota.
1774 m. parapijai priklausė 25 kaimai (iš jų 8 buvo už Nemuno kairiojo kranto). Nuo 1777 m. veikė parapinė mokykla. Bažnyčiai 1782 m. priklausė Kampiškių kaimas, 1832 m. – tik jurisdika miestelyje. Klebonas Feliksas Višinskis 1831 m. per pamokslą ragino žmones eiti į sukilimą. Pasinaudojęs amnestija bausmės išvengė. 1805, 1815, 1849 m. vizitacijų aktuose nurodyta sena ir maža bažnyčia. Rumšiškių parapija, priklausiusi Vilniaus vyskupijai, 1849 m. perduota Žemaičių vyskupijai.
1859–1860 m. pastatyta nauja medinė bažnyčia. Jos kunigas Antanas Kazlauskas 1863 m. areštuotas, išvežtas į Vilniaus kalėjimą, kuriame 1867 m. mirė. Kunigas Povilas Šilinskas (mirė 1892 m.) 1890 m. pradėjo pamaldas laikyti lietuvių kalba, parapijiečius mokė lietuviškai melstis, giedoti, platino draudžiamą spaudą. 1907 m. įsteigtas „Saulės“ draugijos skyrius, 1908 m. – „Saulės" mergaičių mokykla. 1910–1914 m. veikė Lietuvių katalikų blaivybės draugijos skyrius.
Bažnyčia ir varpinė (medinės) 1958–1959 m. perkeltos į naują vietą – viršutinę Nemuno terasą.