Stemplių dvaro salėje įrengus altorių 1934 m. pirmąkart laikytos šv. Mišios. Kunigas atvažiuodavo kas trečią sekmadienį. 1937 m. Stemplių kaimo gyventojai Bronislava Žiogaitė ir jos sesuo Amelija ir Antanas Žąsyčiai dovanojo kelis hektarus žemės bažnyčiai, klebonijai pastatyti ir kapinėms įrengti Stemplių kaime. Gavęs vyskupo sutikimą, kun. A. Baltinis pradėjo statyti šv. Aloyzo bažnyčią, tą darbą tęsė kun. Memgaudas ir užbaigė kun. Feliksas Valaitis. Bažnyčią 1943 m. konsekravo Telšių vyskupas Vincentas Borisevičius.
Bažnyčios vidaus įrengimas taip pat turi savo istoriją. Nors pagrindinis altorius skirtas Šv. Aloyzui, pasakojama, kad vienas iš pirmųjų šoninių altorių buvo skirtas Šv. Juozapui, ypač svarbiam šeimos ir sunkiai dirbančių žmonių globėjui. Tai rodo, kad bendruomenė meldėsi už kasdienes savo reikmes ir apsaugą. Be to, per visą sovietmetį, kai bažnyčia buvo uždaryta, vietiniai gyventojai sugebėjo išsaugoti kai kuriuos vertingiausius liturginius reikmenis, paslėpdami juos savo namuose. Tai liudija apie stiprų tikėjimo ryšį su šia vieta, net kai oficialiai pamaldos nevyko. Ši bažnyčia buvo tikras kaimo širdies plakimas.