Breslaujos žemės teismo raštininkas Jonas Samsonas savo Smalvų pastatytai bažnyčiai 1598 m. paskyrė Jurgiškių sklypą, Bagdoniškės ir Pieviškės kaimus. 1600 m. įsteigtas reguliariųjų atgailos kanauninkų vienuolynas. Jiems atiduota ir bažnyčia.
Breslaujos žemės teisėjas Kazimieras Podbereskis 1674 m. pastatė naują medinę bažnyčią. Ją konsekravo pavyskupis Mikalojus Slupskis. 1750 m. įkurta parapija. 1766 m. bažnyčia perstatyta. 1804 m. minima parapinė mokykla. Prancūzijos kariuomenė 1812 m. apgriovė vienuolyną. 1832 m. jis uždarytas. Iki tol vienuolynui priklausė jurisdika Smalvose, Rotaniškės ir Jurgiškių kaimai. Grafas Pliateris Smalvų kapinėse 1855 m. pastatė Šv. Rozalijos koplyčią.
Pliateriai su parapijiečiais 1857 m. pastatė dabartinę medinę bažnyčią. Klebonas Teofilius Rudžius 1866 m. už į atlaidus atvykusių svečių priėmimą klebonijoje nubaustas 50 rb, už išvykimą į Gaidę – 25 rb, 1868 m. už šoninio altoriaus įrengimą be valdžios leidimo – 100 rb. 1869 m. ištremtas į Archangelsko guberniją. 1897 m. parapijos kapinės apmūrytos.
1902 m. žaibas trenkė į bažnyčios bokštą, jis apdegė. 1920 m. administracinė linija Smalvų parapiją perskyrė. Rytinė dalis su Smalvomis liko Vilniaus vyskupijoje, vakarinė – Panevėžio. Lietuvos pusėje esančius parapijiečius aptarnavo Zarasų kunigai Pasmalvio dvaro koplyčioje.
Nors bažnyčia yra Rožančinės titulo, verta paminėti, kad Rožančiaus malda, kaip apmąstymo forma, yra giliai įsišaknijusi dominikonų tradicijoje, tačiau vėliau plačiai prigijo visoje Katalikų Bažnyčioje. Smalvų atveju, vėlesnis medinės bažnyčios statymas Pliaterių iniciatyva rodo stiprų vietos diduomenės ryšį su religine bendruomene, kas buvo būdinga Lietuvos Didžiosios Kunigaikštystės kultūrai, kur privačios fundacijos užtikrindavo sakralinių pastatų gyvybingumą. Klebono T. Rudžiaus persekiojimas carinės valdžios, ypač dėl altoriaus įrengimo be leidimo, liudija apie XIX amžiaus Rusijos imperijos valdžios bandymus suvaržyti Bažnyčios autonomiją ir jos galimybes puošti sakralines erdves, net ir menkiausiomis detalėmis. Ši bažnyčia išsaugojo ne tik architektūrinę, bet ir dvasinę rezistencijos prieš sekuliarizaciją istoriją.