Kunigas Juozapas Čaplikas (1876–1961) Ryliškiuose, savo tėvo paveldėtoje 0,5 valako žemėje, 1918 m. pastatė medinę koplyčią ir pradėjo laikyti pamaldas. 1924 m. įsteigta parapija. 1932 m. pastatyta nauja bažnyčia.
Juozas Stasiūnas, Ryliškiuose klebonavęs nuo 1936 m., 1944 m. gruodį pasmerkė bolševikų siautėjimus. Už tai 1947 m. nuteistas 10 m. kalėti ir ištremtas. Į Lietuvą grįžo 1955 ir 1953 m. pabaigoje bažnyčia sudeginta. Pamaldos nuo 1954 m. laikytos Klepočių kaime, ūkininko sodyboje, nuo 1983 m. – Bugonių kapinėse. Vietos valdžia neleido atstatyti bažnyčios, konfiskavo statybines medžiagas, trukdė melstis.