1723-ban törvény kötelezte a vármegyéket (a 73. törvénycikk), hogy gyűléseik és ítélőszékeik tartására, a rabok elhelyezésére és irataik őrzésére székházat építsenek. 1791-ben ismét törvény intézkedett arról (a12. törvénycikk), hogy a vármegyék a megyei székházakban kötelesek elhelyezni a börtönt és a levéltárat. Ez volt tehát az oka, hogy némileg összefonódott a két sajátos feladatkörű intézmény sorsa, és hogy Somogy vármegye székhelyén is közös épületbe került a börtön és a levéltár.

A vármegye levéltára azonban csak a 18. század közepén költözött Kaposvárra, azzal összefüggésben, hogy véglegesen ezt a települést jelölték ki megyeszékhelynek. A levéltári iratoknak eleinte az első megyeháza biztosított helyet. A megyei közgyűlés 1821. május 8-án azonban elhatározta, hogy nagyobb megyeházát, tömlöcöt és levéltárat kell építeni Kaposváron, amihez adománygyűjtést indítottak, és tervet készíttettek.

Először a levéltárnak is helyet adó börtön építését kezdték meg. (Dr. Zádor Mihály építészmérnök, egyetemi tanár szerint 1824. június 30-án, dr. Kanyar József történész szerint csak 1828. július 3-án helyezték el az alapkőben az alapító okmányt.) A munkálatokat Török Ferenc megyei földmérő irányította – ő tervezte a vármegyeházát is, amely néhány év múlva épült fel a levéltárépülettől északra, a Fő utcában. A klasszicista stílusú új kaposvári börtönt (és levéltárat) 1828 szeptemberében adták át rendeltetésének. (Ebben az évben a városka népessége egyébként épphogy csak meghaladta a háromezer főt.)

Az új épület egyébként nem jelentette azt, hogy megjavultak a rabok életkörülményei: a rossz higiénés helyzet és a gyatra étkezés miatt 1844-ben nyolcvan rab halt meg a kaposvári börtön falai között kitört tífuszjárvány következtében, s öt börtönőr is áldozatul esett a ragálynak.

Az épületet utóbb kétemeletessé alakítottak át; a második emeleten tartották meg 1889-ben az utolsó somogyi betyár, Oroszlán Pál bűnperének tárgyalását. 1907-re aztán – az Igazságügyi Palotával együtt – felépült a legújabb börtön, s a Teleki utca vonalában álló legrégebbi, 18. századi börtönt le is bontották.

Az 1828-ban elkészült börtönépületet a 20. század elejétől fogva egyre inkább a tudomány – a levéltár és a múzeum – hajlékaként ismerték Kaposváron. Az 1930-as években a levéltár belső átalakítására is sor került.