A 19. század elején már igen rossz állapotban volt az elemi iskola épülete, amit a helytartótanács és a megyegyűlés többször a szemére vetett a városnak. Kaposvár azonban pénz híján nem tudott változtatni a helyzeten. 1811-ben a megyei közgyűlés elrendelte, hogy készítsék el az újjáépítendő iskola terveit, de az építkezés még sokáig váratott magára. Közben alá kellett dúcolni az egyik osztály födémét, a tornác is leszakadt, hiányzott a kerítés, s a melléképületek is „düledező állapotban” voltak. Ráadásul olyan szűk volt az épület, hogy 1819-től kezdve délelőtt és délután is oktatták a tanulókat, néhány év múlva pedig a városháza egyik termét engedték át az ekkor már nemzeti iskola néven ismert tanintézetnek.
Megindult az adománygyűjtés, amelyben még Balogh István Kaposváron vendégszereplő színtársulata is részt vett. Lassan összejött a szükséges építőanyag; a téglák és cserepek beszerzésére egy mosdósi téglásmesterrel kötöttek szerződést. (A fizetségen felül két akó vörösbort ígértek neki…)
A főtéri templom keleti oldalán 1829. május 12-én kezdődött meg a régi, földszintes iskolaépület bontása és ennek helyén – Tomola József kőművesmester tervei alapján – az új római katolikus elemi iskola építése. A munkálatok idején a városházán levő kocsma vendégszobájában folyt a tanítás. Már ősszel tető alá került az épület, de véglegesen csak a vármegyeházával egyidejűleg, 1832-ben készült el a T alaprajzú, kétszintes (később tetőtér-beépítéssel bővített) iskola. A széles kapualj mellett tantermeket alakítottak ki, hátul pedig kétkarú lépcsőt. Az emeleten a tanítók laktak, később azonban ezt a szintet is mindinkább oktatási célra vették igénybe.
A Jelenkor című pesti folyóirat 1832. évi 69. számában is megemlékeztek az új kaposvári iskolaépületről: „Kaposvár csinosulásához járul, hogy az itteni lakosok nem tekintvén szűk tehetségük körét, fölös áldozatokkal egy emeletes, csinos nemzeti iskolát építének a gimnázium ellenében, melyben ezen intézet tanítója is alkalmas tágas lakáshoz jut. Az épület homlokzatán ezen felírás olvasható: »A haza kis polgárainak 1832«. Az egész mű mind építőmesterének, mind a lakosok igyekezetének nem kis becsületére válik.” (Kanyar József: Népoktatás a Dél-Dunántúlon a feudalizmusból a kapitalizmusba való átmenet időszakában, 1770–1868. Budapest, Akad. K., 1989. 200. o.)
Az épület falai között számos oktatási intézmény talált otthonra a következő csaknem két évszázadban – de rendőrség is működött, sőt még képzőművészeti kiállítást is rendeztek itt…