Simono Siručio rūpesčiu 1763 m. pastatyta mūrinė Šv. Simono ir Judo bažnyčia. Dėl blogų pamatų po 11 metų jos siena ėmė griūti.
1780 m. pastatyta nauja medinė Šv. Karolio bažnyčia ir į ją perkeltos pamaldos. Didžiosios Panemunės dvaro sodybos savininkas sumažino bažnyčiai skirtus procentus, todėl klebonas Rokas Bučinevskis 1837 m. iškėlė bylą, kurią 1848 m. laimėjo. To paties klebono iniciatyva 1859 m. pastatyta mūrinė bažnyčia. Klebono Jurgio Staugaičio rūpesčiu 1882 m. padidinta, pakeistas frontonas.
1911–1914 m. veikė Lietuvių katalikų blaivybės draugijos skyrius.
2003 m. šalia bažnyčios šventoriaus esančioje pievelėje ėmė kurtis „meilės simbolių parkelis“ – nedideli akmenys su vardais ir užrašais apie meilę, dažniausiai paliekami bažnyčioje susituokusių porų.