Costruito attorno al 1860 come seminario della Diocesi di Civitavecchia non fu mai usato per lo scopo per cui era stato costruito. Servì dapprima come caserma di soldati francesi e poi con l’avvento dello Stato Italiano da Palazzo Comunale. Dobbiamo ad un ufficiale francese  l’orto botanico, alle spalle del palazzo, che fu in seguito trasformato in Villa Comunale.