Il castello, erroneamente chiamato dei Frangipane, è una tipica rocca medioevale. Ultimo bastione di difesa per tantissimi secoli riuscì a proteggere il popolo tolfetano anche dall'esercito napoleonico.