Spėjama, kad pirmoji bažnyčia pastatyta iki 1638 m. (mat vienas į Rusiją 1915 m. išvežtas varpas buvo pažymėtas 1638 m. data). Iki 1675 m. Jurgis ir Povilas Zavadskiai įkurdino Pumpėnuose karmelitus ir jiems pastatė medinę bažnyčią. Ji su vienuolynu 1770 m. sudegė. Nuo 1782 m. veikė parapinė mokykla. Vienuoliams dovanotą palivarką su 16 kiemų iki 1784 m. atėmė Juozapas Šiška.
1784–1818 m. pastatyta dabartinė mūrinė bažnyčia. 1820 m. Pumpėnuose gyveno 5 vienuoliai karmelitai. Jie turėjo jurisdiką miestelyje. 1820–1832 m. bažnyčioje pastatyti 3 nauji altoriai. Rusijos valdžia 1832 m. vienuolyną uždarė, vienuolyno pastatas liko parapijai. 1880 m. gegužės 25 d. pavyskupis Aleksandras Beresnevičius bažnyčią konsekravo. Iš kunigo Teodoro Strasevičiaus palikimo 1803 m. pastatyta senelių prieglauda. 1830 m. iš akmenų išmūryta varpinė, apmūrytas šventorius.
1853–1859 m. klebonavęs J. Ulasevičius perstatė prieglaudą, išlaikė parapinę mokyklą, remontavo bažnyčią. Klebonas Jonas Šimkevičius 1898 m. įrengė 20 registrų vargonus (pirmieji vargonai įrengti iki 1804 m.). 1900–1915 m. klebonavęs Juozapas Viksva atstatė ūkinius trobesius, atnaujino bažnyčią, šventoriaus tvorą (palaidotas šventoriuje). 1912 m. įsikūrė Lietuvių katalikų blaivybės draugijos skyrius, 1913 m. įsteigęs arbatinę ir kepyklą.