Žemaičių Kalvarija (iki XVII a. vidurio vadinta Gardais) 1421–1842 m. buvo Žemaičių vyskupo valda. Iki 1593 m. pastatyta bažnyčia. Iš pradžių nuolatinio kunigo neturėjo. Vyskupas Merkelis Giedraitis pastatė namus ir įkurdino kunigą. 1636 m. minima Gardų parapija. 1636 m. vyskupas Jurgis Tiškevičius kitoje vietoje pastatė naują bažnyčią, pakvietė vienuolius dominikonus.
1637–1639 m. pastatyta 19 Kalvarijų koplyčių. Nuo to laiko Kalvarijos išgarsėjo visoje Žemaitijoje ir iki šiol katalikų lankomos. 1642 m. vyskupas dominikonams dovanojo žemės, buvo pastatytas medinis vienuolynas. Vienuoliai nuo 1644 m. laikė parapinę mokyklą (veikė iki 1832 m. ir su pertraukomis 1836–1863 m.), nuo 1778 m. – aukštesniojo tipo. Joje mokėsi būsimasis vyskupas Motiejus Valančius, istorikas Simonas Daukantas, lietuvių raštijos darbuotojai Vladas Juzumas ir Vincentas Juzumas, Antanas Savickis, Juozapas Mieleška.
1749–1750 m. pastatyta didesnė medinė bažnyčia, įrengta 15 altorių, suremontuotos ir perstatytos Kalvarijų koplyčios. 1780 m. kitoje vietoje išmūryti pamatai dabartinei bažnyčiai. Ji pagal architekto Augustino Kosakausko projektą pastatyta 1822 m. (senoji nugriauta 1824 m.). 1853 m. Januškevičius paauksavo visus altorius. 1842 m. vienuolynas su biblioteka sudegė, 1843 m. atstatytas 2 aukštų mūrinis vienuolynas. Už perskaitytą 1863 m. sukilėlių manifestą vienuolis Pilypas Mokžeskis 6 metams išsiųstas į katorgą Sibiran. 1866 m. uždraustos procesijos, 1889 m. uždarytas vienuolynas. 1896 m. bažnyčia su archyvu ir biblioteka sudegė.
1896–1902 m. pagal architekto Piotro Serbinovičiaus projektą suremontuota bažnyčia, įrengti 3 altoriai, paaukštinti bokštai. 1903 m. suremontuotos Kryžiaus kelio stočių koplyčios, kai kurios perstatytos. 1908 m. bažnyčioje įrengti dar 6 altoriai, visi paauksuoti. Didžiajame yra Švč. Mergelės Marijos paveikslas. Tikinčiųjų manymu, jis esąs stebuklingas. 1910 m. įrengti 15 registrų vargonai. Per Pirmąjį pasaulinį karą išvežti bažnyčios varpai. 1927 m. Žemaičių Kalvarijoje įsikūrė marijonai. Jie išlaikė pradžios mokyklą, kurioje dėstė seserys kazimierietės. Prieš Antrąjį pasaulinį karą atnaujinta dalis koplyčių.
1941–1944 m. kunigai marijonai Vladas Polonskis ir Klemensas Kačergius išslapstė panevėžietį gydytoją Sauchantą. 1948 m. vienuolynas uždarytas. Klebonas Jonas Staškevičius 1950 m. suimtas, 1955 m. mirė Jodelės lageryje, altarista Petras Lygnugaris 1952–1970 m. kalintas.
Žemaičių Kalvarijoje gyveno pirmosios lietuvių maldaknygės autorius, kunigas Jurgis Kasakauskis (apie 1650–1722), lietuvių raštijos darbuotojas, kunigas Rapolas Jasikevičius (1801–1879).