Varsėdžiai 1421–1842 m. priklausė Žemaičių vyskupo Kaltinėnų dvarui. Apie 1570 m. Varsėdžiuose įsteigta Kaltinėnų altarija.
1720 m. pastatyta bažnyčia, 1817 m. atnaujinta, buvo Kaltinėnų parapijos filija. Kurį laiką nuolatinio kunigo neturėjo. Vyskupas Mečislovas Paliulionis paskyrė pirmą nuolatinį filialistą kunigą Povilą Žabą (palaidotas šventoriuje, žmonės jį laikė šventuoju ir meldėsi prie jo kapo). Kauno gubernatorius 1908 m. leido šventoriuje vietoj senos medinės pastatyti mūrinę koplyčią.
1936 m. gruodžio 17 d. įkurta parapija. Varsėdžiai garsėjo Šv. Roko ir Švč. Mergelės Marijos (Žolinės) atlaidais.