In der Piazza von Porto Recanati gelegen, weist das Schloß mittelalterliche Ursprünge auf und verdankt seinen Namen Federico II, Re di Svevia (Friedrich II, König von Schwaben), der im Jahre 1229 die Länder verschenkte, auf denen heute die Stadt von Recanati steht.                              

Das Schloß wurde im XIII Jdht erbaut, um die Küste vor den Angriffen der Piraten und vor allem der Türken zu schützen.                

Um das Schloß herum entstanden die ersten Ansiedlungen, intern der Stadtmauern verlief somit das tägliche Stadtleben der lokalen Bevölkerung.

Der Hauptturm, ursprünglich mit einem vierkantigen Grundriss, heute achteckig, wurde vor der ganzen Befestigungsanlage gebaut, während der zweite Turm um 1.400 erbaut wurde. Dem ganzen Mauerring entlang ist ein Laufgraben ersichtlich, der den Wachen den Rundgang ermöglichten und gleichfalls einen Schutz von oben darstellte. 

Heute dient der Innenhof dieses Schlosses als Freilichttheater, das nach dem berühmten Tenor aus Recanati, Beniamino Gigli banannt wurde. Hier finden im Sommer vielfältige kulturelle Veranstaltungen statt. 

Im ersten Stockwerk des Schloßes ist es möglich, die städtische Pinakothek zu besichtigen, wo die  vom illusteren Mitbürger Attilio Moroni (1909-1986), gesammelten Werke aufbewahrt sind. Er war Rektor an der Universität von Macerata, Jurist und besaß eine Leidenschaft für die Kunst; der Eingangssaal hingegen ist einem Kunstmaler Biagio Biagetti aus Porto Recanati (1877-1948) gewidmet.