Il Palazzo di Nemi, nato come Castrum Nemus o Nemoris, ha vissuto una storia che inizia nel X secolo e che lo ha visto passare tra le mani di vari utenti, che hanno lasciato il proprio segno sull'edificio, tra un terremoto e l'altro: i Conti di Tuscolo, i Marchesi Frangipane, i Monaci Cistercensi, gli Orsini, gli Annibaldi, i Colonna, i Borgia, i Piccolomini, il Cardinale D'Estouteville, il Cenci, di nuovo i Frangipane, i Braschi, i Rospigliosi, i Ruspoli e, attualmente, i nuovi proprietari privati che ne hanno iniziato l'ennesimo restauro.

La sua quasi millenaria vicenda è, in massima parte, ancora oscura; il materiale di cui si dispone è pochissimo e generico; le prime notizie specifiche iniziano nel 1902, quindi relativamente recenti, anche queste limitate per l'avvenuta distruzione dei documenti durante l'ultima guerra.

Alta circa 40 metri sulla Piazza Umberto I, si erge su un'antica struttura risalente almeno al XII secolo, quando Nemi viene citata nei documenti d'archivio prima come oppidum e poi come castrum. Fu costruita dai Monaci Cistercensi che si servirono di Saraceni, fatti prigionieri durante le loro scorrerie lungo le coste tirreniche. La sua merlatura è scomparsa da tempo.

E' quel poco che resta dell'impianto fortificato originario, aggregato intorno alla Torre Maggiore; le opere di ampliamento dei Frangipane lo hanno toccato solo marginalmente. Alcuni ambienti che appartenevano al Castello sono stati assorbiti nell'ala Braschi, come la Sala d'Armi e altri.

La cortina murale perimetrale del Castello era munita di torri; si ha notizia solo di due: una esiste ancora, verso la Portella, cioè verso la strada proveniente da Genzano, l'altra è stata demolita prima dei Braschi.

Realizzato al disopra della cortina muraria che segue la Torre Esterna, nell'area compresa tra l'ala Frangipane e il Castello,

E' il corpo di fabbrica, disposto lungo la Via Giulia ed affacciato sul lago dalla contrada della Portella; costruito dopo il 1572,durante la Signoria della famiglia Frangipane, ha determinato la trasformazione del Castello in Palazzo.

E' la parte, prospiciente la Piazza Umberto I, che va dalla Torre Esterna al filo dell'attuale via del Plebiscito; costruita dopo la vendita di Nemi, nel 1781, da parte dei Frangipane a Luigi Onesti Braschi, nipote di papa Pio VI.

L'insediamento dei Braschi nel feudo di Nemi coincide con il periodo di massimo splendore del pontefice: la bonifica delle paludi pontine, avviata nel 1777, cominciava a dare frutti alla famiglia grazie ai latifondi recuperati. Il papa poteva, quindi, permettersi di regalare al suo nipote prediletto, come dono di nozze, il palazzo che non era, però, abbastanza sontuoso se paragonato alle residenze che le altre nobili famiglie romane possedevano nei Castelli. Ciò spiega tutti i successivi restauri e abbellimenti pittorici, operati soprattutto da Liborio Coccetti.

Il disegno neorinascimentale della facciata sulla Piazza è opera recente, risalente agli anni '30.