1620–1630 m. prie Rūdininkų vartų LDK kunigaikščio sekretoriaus Vaitiekaus Chludžinskio rūpesčiu pastatyta mūrinė bažnyčia. Ji atiduota senosios regulos karmelitams. Vienuolynui pritaikyti senesni namai. XVII a. pirmojoje pusėje vienuolyno pastatai sujungti. 1655 m. bažnyčia ir vienuolynas nukentėjo nuo gaisro, po 1661 m. atstatyti.
1743 m. pastatyta varpinė, primūryta zakristija, o virš jos – bibliotekos patalpa. Pastatytas į kiemą išsikišęs vienuolyno korpusas (statė karmelitų vienuolis Antanas Šperkovičius) ir jame įrengtas refektorius. XVIII a. interjero skulptūras sukūrė A. Šelis. 1810 m. įsteigta parapija.
1812 m. pabaigoje Napoleono kariai sukūreno bažnyčios suolus, klausyklas; vienuolyne įkurdinta ligoninė. 1823 m. bažnyčia atnaujinta. 1880 m. nugriauta šventoriaus mūro tvora. Nuo 1842 m. vienuolynas paliktas etatiniu (2-os klasės). 1870 m. jame buvo 27 vienuoliai, tarp kurių 15 atkelta iš uždarytų kitų regulų vienuolynų. 1885 m. vienuolynas uždarytas, pastate įrengti butai.
1902 m. klebono L. Čiudovskio iniciatyva užteptos bažnyčios navų sienų, koplyčių kupolų freskos. 1908 m. vikaru buvęs Petras Kraujalis pradėjo sakyti lietuviškus pamokslus, kuriems lenkai priešinosi. 1948 m. bažnyčia uždaryta ir paversta bakalėjinių prekių sandėliu. 1960 m. Ministrų Taryba nutarė vietoj uždaromos Švč. Jėzaus Širdies bažnyčios ją grąžinti tikintiesiems. Nutarimas nevykdytas.
1967–1975 m. restauruota bažnyčia ir varpinė (architektė Aldonos Švabauskienės projektas). 1975 m. čia įrengta Dailės muziejaus liaudies meno ekspozicija. 1991 m. bažnyčia grąžinta tikintiesiems.