Il Palazzo della Ragione in una cartolina dei primi del 900 che lo indica come abitazione del poeta Annibal Caro durante il suo soggiorno a Tolfa. Nel medioevo era presumibilmente il palazzo baronale dove vivevano Pietro e Ludovico signori della Tolfa.