Pirmoji bažnyčia pastatyta apie 1521 m. Karmėlavos seniūnas Simonas Sirutis 1529 m. jai paskyrė žemės. Jurgis Andriuškevičius 1531 m. bažnyčiai dovanojo savo Andruškonių palivarką (kitapus Neries). 1663 m. minima parapinė mokykla (atkurta 1777 m., veikė ir 1804 m.). Maskvos kariuomenė 1655 m. sunaikino Karmėlavos bažnyčią. Įrengta laikina. Bažnyčia 1674 m. dar nebuvo atstatyta; vėlesnė pastatyta 1768 m. Bažnyčioje 1782 m. pamokslai sakyti lenkų ir lietuvių kalbomis. XIX a. antrojoje pusėje lietuviškų pamaldų nebuvo.
1909 m. trečdalis parapijiečių laikė save lietuviais. Kas ketvirtą šventadienį bažnyčioje pamaldos laikytos lietuvių kalba. Lenkiškai kalbantys parapijiečiai per lietuviškas pamaldas keldavo riaušes ir muštynes. Vyskupijos vadovybė 1909 m. pabaigoje bažnyčią uždarė.
Lietuvių katalikių moterų draugija Karmėlavoje 1918 m. įsteigė žemesniąją žemės ūkio mokyklą. Sudegusios bažnyčios vietoje 1919–1921 m. pastatyta nauja (Vladimiro Dubeneckio projektas). Klebono A. Žilinsko iniciatyva bažnyčia 1937–1939 m. gerokai remontuota, ištiesintas pasviręs bokštas. Per Antrąjį pasaulinį karą bažnyčia sudegė. Jos vietoje 1945 m. įrengta medinė, savo forma primenanti vienaaukštį gyvenamąjį namą.