Kada je glasoviti hrvatski slikar, povjesničar umjetnosti i prvi hrvatski ministar prosvjete Iso Kršnjavi početkom 20. st. potakao vrednovanje kasnobaroknih sakralnih zdanja u Hrvatskoj iz vremena Marije Terezije posebno je istakao crkvu Sv. Terezije u Požegi. Naime 1902. godine objavljena je u Beču knjiga "Umjetnost u riječi i slici u Austrougarskoj monarhiji". U toj knjizi posebno poglavlje napisao je Kršnjavi pod naslovom "Hrvatska umjetnost" i istakao izuzetnost ove požeške crkve.

Crkvu Sv. Terezije gradio je vlastitim sredstvima zagrebački biskup Franjo Thauszy. On je iznos od 80 000 forinti umjesto za obnovu požeške tvrđave, čiji je bio vlasnik, namijenio ovoj crkvi. Dozvolu za gradnju crkve dala je carica Marija Terezija 11. srpnja 1754. g koja odlučuje da se crkva posvećena Sv. Tereziji Avilskoj gradi od građevinskog materijala napuštenih skladišta i požeške vojarne. Kamen temeljac postavljen je 28. lipnja 1756. g. Crkva se gradila sedam godina, a posvetio ju je 24.7. 1763. g. spomenuti biskup Thauszy.

Koliko je crkva svojom ljepotom i raskošom baroka bila dojmljiva najbolje potvrđuje zapisana izjava biskupa Alapovića koji ju je obišao potkraj 18. st.
Kada je biskup stupio u crkvu ushićen je uskliknuo (na latinskom jeziku): "O Talijane, Talijane, koji si gradio ovaj hram, gdje ti leže kosti, da ih blagoslovim!"
Naime, nikada se nije saznalo tko je bio njen graditelj. Jedino se zna da je nacrt za gradnju poslala sama carica Marija Terezija. Naš hrvatski i požeški velikan i suvremenik u slikarstvu i povijesti umjetnosti akademik Matko Peić istražujući požešku arhitekturu piše "da su velik dio arhitekture požeškog baroka sagradili putujući talijanski majstori koji su u podnožju zgrade na glavnom požeškom trgu unijeli oblik luka zvanog bolta, oblik poznat u graditeljstvu Padove (Italija).

Oni su, prema Peiću vjerovatno i izgradili i crkvu Sv. Terezije "čistu jednako u horinzontlnom i vertikalnom planu
Jedanaest godina iza protjerivanja Turaka (1687.) dolaze u Požegu Isusovci 1698. Oni ubrzo kraj stare crkve Sv. Lovre (Lovrinca) podižu manju kuću na ostacima srednjovjekovnog samostana klarisa. Od 1705. do 1711. godine grade svoju glasovitu Kolegiju "Collegium Poseganum", veliku palaču u baroknom stilu u kojoj su boravili učenici gimnazije što su je Isusovci osnovali 1698. g.
Za potrebe gimnazije grade posebnu zgradu 1726. u kojoj je danas samostan časnih sestara. Isusovci osnivaju 1761. i Akademiju za studij filozofije i moralne teologije poznatu pod imenom "Academia Posegana". Nju je dokinula Marija Terezija 1776. tri godine nakon ukidanja isusovačkog reda 1773. g.

Novi vlasnik kutjevačka gospoštija (čiji su ranije Isusovci bili također vlasnici) prodaju na dražbi zgradu Kolegije. Javilo se više kupaca, a najviše je ponudio i zgradu kupio biskup Alagović. On je inače bio zaljubljenik Požege. Staru požešku utvrdu "Stari grad" sa šest kula namjeravao je urediti za rezidenciju požeških biskupa. Bila mu je namjera osnovati u Požegi središte biskupije za onaj dio Slavonije koji se nekada nalazio pod Pečujskom biskupijom. U tome ga je spriječila smrt 1837. On je u kupljenoj zgradi Kolegija uredio orfanotrofij (sirotište) i konvikt za nadarene dječake. Kako je zgrada bila derutna, biskup ju je obnovio (1833.-35.) pa tako Kolegij postaje dvokatna građevina. Nakon ponovne uspostave isusovačkog reda oni dolaze u Požegu i preuzimaju ovaj zavod sve do 1871., a nakon toga njime po drugi put upravljaju nadbiskupski svećenici. Godine 1903. i 1904. traje obnova građevine i podiže se treći kat po nacrtima zagrebačkog arhitekte Janka Holjca, a na poticaj zagrebačkog biskupa Jurja Posilovića. Time zgrada Kolegija dobiva svoj konačni izgled sačuvan do danas.

Po svojoj monumentalnosti to je sada i jedna od najvećih i najreprezentativnijih biskupskih palača u Hrvatskoj. Iako je dogradnjom 1904. izgubila svoje glavno barokno obilježje ona ipak sadrži u sebi elemente stilskih razdoblja od 13. do 20. stoljeća.

U zavodu su boravili i školovali se istaknuti hrvatski književnici, umjetnici i svećenici kao što su Luka Ilić Oriovčanin, Vilim Korajac, Josip Eugen Tomić, Josip Štadler, Tomo Maretić, Ferdo Becić, Albert Bazala, Slavko Kolar, Josip Andrić i dr.