Il castello Scaligero domina tutta Valeggio e la valle del fiume Mincio. Le sue fortificazioni risalgono al medioevo. Il maniero fu quasi completamente raso al suolo nel 1117 a causa di un terremoto. La torre tonda che ha la forma di un ferro di cavallo rimase in piedi dopo il sisma. Attualmente è visitabile la parte chiamata Rocca. Qui si accedeva attraverso due ponti levatoi. Un terzo ponte permetteva l’accesso alla parte più ampia dell’edificio chiamata Castello, di cui restano solo ruderi. Nel 1200 per volontà della famiglia degli Scaligeri fu fortificata la zona di Valeggio, oltre al Castello e la Rocca fu costruito un avamposto sulle rive del fiume. I lavori procedettero fino al 1348 quando furono interrotti a causa della Peste Nera che investì tutta l’Europa. I lavori procedettero fino al 1387 quando il luogo fu conquistato dalle armate dei Visconti Gian Galeazzo Visconti, signore del Ducato di Milano, nel 1393 fece collegare un ponte digache aveva un doppio scopo: essere sia luogo di transito, sia difesa dalle acque. Il lavoro fu unito con la Rocca di Valeggio tramite due alte cortine merlate, concretizzò un complesso fortificato unico in Europa.
Durante la dominazione di Venezia iniziò il lento decadimento delle strutture difensive. Verso la metà del XVI sec., la Serenissima Repubblica di Venezia, privilegiando la scelta strategica di fortificare Peschiera, vendette a privati il ponte ed il castello.
Attorno al maniero aleggia tuttora una leggenda: che ci riporta indietro col tempo. Si racconta che nelle lunghe e silenziose notti fra le torri merlate si aggirasse uno spettro silenzioso. La sua storia risaliva il tempo degli Scaligeri, Signori di Verona. L’ultimo discendente Guglielmo fu avvelenato, da uno sconosciuto. Il fratello Guglielmo prese il controllo del luogo, tentò in ogni modo di contrastare il potere sempre crescente della Serenissima.
Nel 1405 messer Andriolo da Parma, castellano di Valeggio stava trattando con i veneziani la resa e la consegna del capisaldo fortificato. Qualche giorno dopo un drappello di armigeri raggiunse il maniero e arrestò il castellano, accusandolo di tradimento. Andriolo fu legato ad un carro e portato sulle rive del fiume Adige. Incatenati ad un palo e squartato con un colpo di lama.
Questa esecuzione però non garantì la sopravvivenza politica di Giacomo. A luglio Giacomo fu costretto a fuggire dai veronesi insorti che consegnarono la città al Doge.
Il corpo di Andriolo non si sa che fine abbia fatto ma da quel tragico giorno della sua uccisione sembra che il suo tormentato spirito nelle notti di luna piena vaghi fra le torri del castello in cerca della sua spada per poter riposare in pace.