A viszálykodásokkal a háttérben azonban a zselicszentjakabi apátság is élte az egyházi intézmények megszokott mindennapjait. A monostor épületegyüttese a kaposújvári váréhoz hasonlóan fokozatosan bővült, gazdagodott az évszázadok során.

A 11. században épült háromhajós templom kövei között a megye legkorábbi Árpád-kori faragványait is meg lehet találni. A 13. század végén nyolcszögletű temetőkápolnát emeltek az apátság területén, a templomtól északra. Egy évszázad múlva gótikus stílusban alakították át az eredetileg román stílusú zselicszentjakabi templomot. Minden valószínűség szerint az átépítéssel függ össze, hogy IX. Bonifác pápa 1392-ben búcsút is engedélyezett a zselicszentjakabi bencés monostor templomának, amely a Szent Jakab-zarándokútvonal egyik somogyi állomása lehetett.

A gótikus átalakítás idején épült ki teljesen a kolostorszárny is. „A korábbi kolostor kisebb lehetett, és fallal vették körül, amelyre a gótikus épületszárnyak ráépültek. A meredek domboldal miatt ezeket erős támpillérekkel erősítették meg, így később védőfalként is funkcionálhattak.” (M. Aradi Csilla: Somogy megye Árpád-kori és középkori egyházszervezetének rekonstrukciója. Kaposvár, Rippl-Rónai Múz., 2016. 179. o.)

A szentjakabi emlékhely

1508 tavaszán Thurzó György zalavári és Miklós bátai apát egyházlátogatást tartott az apátságban, ahol ekkor az apáttal együtt hat szerzetes élt. A vizsgálatot végzők elégedettek voltak, hiszen „mindent olyan rendben találtunk, ahogyan azt az előd apátok ebben a monostorban elrendelték. Hibájául csak azt állapítjuk meg, hogy szerfölött magas e Szt. Jakab-apátság szolgaszemélyzetének létszáma, akik a monostor javait feleslegesen fogyasztják, mert nem volna rájuk szükség, s akik a saját fejük szerint – minden fegyelem és szigorúság nélkül – jönnek-mennek a monostorban.” (Zádor Mihály: Kaposvár. Budapest, Műszaki Kvk., 1964. 57. o.)

1550 körül viszont már egészen elhagyatott volt a nagy múltú apátság; szerzetesek helyett legfeljebb katonák lakták. A 16. század elején egy külső védőfalat is felhúztak a keleti zárófalon kívül, ami szintén arra utal, hogy várként próbálták használni, nem egyházi épületként. Hiszen ekkor már minden nappal kézzelfoghatóbbá vált a török veszély…

A szentjakabi bencés apátság a hódoltságot követően már nem nyerte vissza régi fényét. Apátot ugyan később is kineveztek, de ez már nem jelentett egyebet puszta címnél. A monostor régészeti feltárására az 1960-as évektől fogva több ütemben került sor.