Pirmaisiais krikščionybės metais specialių mokymo įstaigų, kurios ruoštų kunigus, nebuvo. Pastoracinį darbą Lietuvoje tuo metu dirbo svetimšaliai kunigai, daugiausiai iš Lenkijos. Medininkų vyskupija kunigų trūkumą bandė įveikti savo jėgomis. 1469 m. vyskupas Motiejus II Topolietis Varniuose prie Katedros įsteigė mokyklą, kurią lankė būsimieji vyskupijos kunigai.
 
Vėliau vysk. Merkelis Giedraitis bandė įkurti kunigų seminariją Medininkų (Žemaičių) vyskupijoje, tačiau jam nepavyko dėl jėzuitų, ruošusių jaunuolius kunigystei (ir labiausiai vertinamų ugdytojų) trūkumo Lietuvoje. Vysk. Stanislovo Kiškos dėka, kuris pastatydino medinius namus seminarijai, 1623 m. Varniuose pradėjo veikti pirmoji kunigų seminarija.
 
Vieta, kur dabar stovi buvę kunigų seminarijos rūmai - išskirtinė. Čia, ant kalnelio, manoma, yra buvusi pagonių kulto apeigų vieta; čia XIII - XVII a. yra buvusios nemažos kapinės; čia buvo pastatydintos pirmosios dvi Medininkų vyskupijos katedros, kurioms sudegus, apie 1740 m. vysk. Antanas Tiškevičius pradėjo statyti mūrinę varpinę. Toje vietoje 1770 m. vysk. Jono Dominyko Lopacinskio pastangomis prie baigiamos statyti varpinės buvo pastatydinti rūmai ir įkurdinta juose Varnių (Žemaičių) kunigų seminarija. Ji veikė iki pat 1864 m., kai Žemaičių vyskupijos centras, kunigų seminarija ir vysk. Motiejus Valančius prievarta buvo caro iškeldinti iš Varnių į Kauną.
 
1864 m. pastatas perduotas Carinės Rusijos Krašto apsaugos kariuomenei, Dono kazokų pulkui, kurie Varniuose išbuvo iki 1905 m. Buvo atliktas didelis rūmų remontas.
 
Lietuvos Respublikos laikotarpiu buvusiame kunigų seminarijos komplekse buvo įkurdinta Lietuvos kariuomenės drausmės kuopa bei kunigaikščio Vaidoto pulkas.
 
1927-1931 m. čia veikė koncentracijos stovykla.
 
1947 m. po remonto pastate įsikūrė Varnių vidurinė mokykla, kuri čia veikė iki 1961 m.
 
1964-1984 m. pastatas perduotas Varnių profesinei technikos mokyklai, kuri čia įrengė bendrabučius, vėliau sandėlius.
 
1984- 1990 m. buvo atliekami Varnių kunigų seminarijos pastato istoriniai, archeologiniai, architektūriniai, inžineriniai-geologiniai tyrimai.
 
1991-1995 m. buvo atstatytas varpinės bokštas ir pirminė (vėlyvąjam Lietuvos barokui būdinga) stogo konstrukcija.
 
1999 m. Lietuvos Respublikos Vyriausybės nutarimu rūmai perduoti Žemaičių vyskupystės muziejui, įsteigtam 1999 m. sausio 5 d.