LDK kancleris Kristupas Zigmantas Pacas 1664 m. nupirko iš Kauno žemės teismo teisėjo Samuelio Oborskio Pažaislio dvarą ir dovanojo jį vienuoliams kamalduliams, taip pat įsipareigojo duoti 40 000 zlotų 12 vienuolių išlaikymui. Pirmiausia pastatyti vienuolių atsiskyrėlių (emeritų) mediniai nameliai ir Šv. Onos bažnytėlė.
1667 m. M.K.Pacas nupirko ir kamenduliams dovanojo Dusmenų dvarą. 1667-1674 m. pagal architekto Džiovanio Batistos Fredianio (Joanes Baptista Frediani) projektą išmūryta bažnyčia. Apie 1665 m. iš Karaliaučiaus atvežtas geležinis laikrodis. 1676 m. Vilniuje Johanas Delamarsas nuliejo 2 varpus.
1675 m. pradėta dengti kupolą, dekoruoti vidų. Stiuko lipdiniai Džovanio Merlio. Freskas tapė Mykolas Arkangelas Palonis. Iki 1676 m. skulptorius Mikalojus Volšeidas iš smiltainio iškalė 4 skulptūras Didiesiems vartams ir grupinę kompoziciją bažnyčios fasadui. 1681 m. baigti mūryti bokštai.
1684 m. mirus K.Z.Pacui, statyba rūpinosi Kazimieras Pacas. Statybos ir marmuro apdailos darbams vadovavo broliai Karlas Putinis ir Pjetras Putinis. Vidaus sienoms iškloti juosvas ir rausvas marmuras atgabentas iš marmuro laužyklų prie Krokuvos. XVIII a. pradžioje J. Rosis centriniame kupole nutapė „Marijos karūnavimo“ freską. Bažnyčia konsekruota 1712 m. Taip pat pagal D.B.Fredianio projektą XVII a. pabaigoje pastatyti vartai, svečių namai (forestoriumas), o XVII a. pab.-XVIII a. pradžioje – vienuolynas su 2 uždarais keturkampiais kiemais, kiti statiniai. Po 1739 m. pradėti statyti emeritų nameliai, jų sumūryta 13.
1755 m. žaibas uždegė bažnyčią, apdegė virš zakristijos buvusi biblioteka, kitos patalpos. 1756 m. rekonstruotas kupolas, bažnyčios bokštai (archit. Pranciškus Ignotas Hoperis). 1790–1793 m. pagal architekto Pietro de Rosio (Pjetro de Rossi) projektą iš rytų pusės primūrytas pastatas su masyviu frontonu.