Apie 1860 m. pastatyta medinė mečetė ir du mediniai namai prie dabartinės Totorių gatvės. Viename buvo prieglauda, kitame gyveno totorių bendruomenės vyresnysis. 1930 m. Kauno totorių draugijos iniciatyva pastatyta nauja mūrinė mečetė. Projekto autoriai architektai Vaclovas Michnevičius ir Adolfas Netyksas. Statyba truko vienerius metus.
Sumūryta iš tuščiavidurių betono blokelių, viduje ir išorėje tinkuota. Perdangą laiko metalinės sijos. Pertvaros medinės, stogas dengtas skarda, kupolai – cementinėmis čerpėmis.
Mečetės planas susideda iš kvadratinės maldų patalpos ir stačiakampio tambūro, prie kurio prijungtas bokštas – minaretas. Virš minareto ir kupolo iškeltos smailės su pusmėnuliais.
Antrojo pasaulinio karo metais mečetės veikla nutraukta. Sovietmečiu veikė Valentino Dikulio cirkas, vėliau – biblioteka ir M.K.Čiurlionio dailės muziejaus sandėlis.
1972–1973 m. remontuota pagal architekto Z. Dargio projektą. Iš pietų pusės pristatyta atvira gelžbetoninė galerija. Mečetėje buvo planuojama įkurti Rytų meno muziejų, tačiau, prasidėjus Atgimimui, planas liko neįgyvendintas.
1989 m. grąžinta tikintiesiems. 1991 m. įvyko pirmosios pamaldos. 2007–2008 m. atliktas kapitalinis remontas. 1996 m. gruodžio 23 d. Kauno mečetė įrašyta į LR kultūros paveldo objektų sąrašą.