Viljandi Jaani kirik rajati aastatel 1466—1472 frantsisklaste ordu reformitud haru observantide kloostrikirikuna ning on linna oletatavasti vanim seniajani kasutatav hoone. Enne selle ehitamist seisis samal kohal väike kirik või kabel, mille kooriruumi kaarjas osa on nähtav praeguse pühakoja alatariruumi all krüptis.
Toona siinseid alasid valitsenud ordu reeglid ei soosinud kirikutele tornide ehitamist, ent Jaani kirik selle siiski sai. Nähtavasti seetõttu, et ta asus linnamüüri ääres ning too müürilõik vajas kaitsetorni.
Mungad jätsid kloostri ja kiriku maha vahetult enne Vene-Liivi sõja Viljandisse jõudmist. Pärast seda on pühakoda korduvalt hävitatud ja taastatud. Viimase valusa hoobi andis Nõukogude võim 1952. aastal: kirik suleti sunniviisiliselt ja muudeti kaubalaoks.
Esimene jumalateenistus leidis taastatavas kirikus aset 1991. aasta jõululaupäeval. Mõni aeg hiljem jõudis torni tagasi vahepeal Kuusalu kirikus olnud kell.
XIX sajandi keskpaigaks oli Jaani kirik kohalikele inimestele lootusetult kitsaks jäänud — seda kasutasid nii Viljandi linna kui kihelkonna elanikud — ning seepärast otsustati linna- ja maakogudus lahutada. See sai teoks 1860. aastal.
Mõisnik parun von Ungern-Sternbergi eraldatud maatükile kerkis maakoguduse uus pühakoda aastatel 1863—1866. Hoone ehitati Viljandile iseloomulikest punastest tellistest ja graniitkivist, mis üheskoos loovad suurejoonelise ja piduliku üldmulje.