Situato nella  piazza di Porto Recanati il castello di origini Medievali prende il suo nome da Federico II re di Svevia che nel 1229 donò le terre sulle quali sorge il comune di Recanati.
Fu edificato nel XIII secolo con la funzione di proteggere la costa recanatese dalle incursioni dei Pirati ed in particolar modo dei Turchi.

Attorno al castello si sviluppò il primo nucleo cittadino, l’interno delle sue mura divenne quindi lo spazio nel quale avevano luogo le interazioni quotidiane della popolazione locale.

La torre principale in origine a pianta quadrangolare, oggi a pianta ottagonale, venne eretta prima dell’intera fortificazione mentre la seconda torre venne costruita intorno al 1400. Su tutta la cinta muraria è visibile un camminamento di ronda utilizzato per la guardia e la protezione dall’alto.

Attualmente l’ampio cortile ospita l’arena “B. Gigli” intitolata  al celebre tenore recanatese che, durante la stagione estiva diviene palcoscenico di un ampio carnet di eventi culturali.

Al primo piano del Castello è possibile visitare la Pinacoteca Comunale che ospita opere collezionate dall’illustre concittadino Attilio Moroni (1909 – 1986) storico rettore dell’Università degli studi di Macerata, giurista e appassionato  d’arte; la sala di ingresso è invece dedicata al pittore portorecanatese Biagio Biagetti (1877 – 1948).