Il Mausoleo di Adriano, l’attuale Castel Sant’Angelo fu costruito in un punto strategico di grande passaggio e visibilità, lungo la strada che poi sarebbe divenuta l’itinerario principale dei pellegrini verso San Pietro; superava il Tevere con il ponte Elio che per questo motivo fu chiamato Poncti Sancti Petri, (il Ponte di San Pietro)

Nel 270 d.C., quando iniziò la costruzione delle mura aureliane, sembra che il Mausoleo sia stato lasciato fuori dalla cinta difensiva, perché si trovava sull’altra sponda del Tevere.

Le cose cambiarono dopo la battaglia di Adrianopoli del 378 d.C., quando l’imperatore Valente fu sconfitto e ucciso dai Visigoti di Alarico e la pressione dei barbari sull’Italia divenne sempre più minacciosa (presto scriveremo anche su questo evento cruciale della storia).
Mentre Milano veniva assediata nel 401 d.C., gli imperatori Onorio e Arcadio si affrettarono a rialzare e irrobustire le mura aureliane, dotandole di torri. Il Mausoleo di Adriano fu inserito nella nuova cinta muraria, e divenne il più importante caposaldo difensivo sulla sponda destra del Tevere.

Nel 410 d.C. vi fu il il primo grande saccheggio di Roma, ad opera dei Visigoti, seguito da quello dei Vandali nel 455 d.C.. In entrambi i casi i barbari non riuscirono ad espugnare il Mausoleo, ma si accamparono intorno ad esso, creando un insediamento semi-permanente che poi sarebbe diventato il Borgo, e da lì devastarono l'intera città. Da allora il Castello rimase una fortezza inespugnabile, resa sempre più grande e potente dagli interventi dei proprietari medievali come i Crescenzi che lo possedevano nell’anno Mille, e poi dei vari papi.

Il Mausoleo era chiamato anche Hadrianeum, e all’inizio del ponte Elio fu costruita la porta Sancti Petri in Hadrianio (porta di San Pietro presso l'Adrianeo), che divenne una delle porte principali della città, per sorvegliarne l’accesso.
Possediamo alcune incisioni che la raffigurano, perché alla fine del Quattrocento papa Alessandro Borgia decise di fortificare ulteriormente l’accesso al Ponte, e distrusse senza tanti scrupoli parte delle mura aureliane inclusa l’antica porta, di cui non resta traccia.

In quel periodo si compiva quindi la definitiva trasformazione del Mausoleo in Fortezza, dovuta alla sua posizione strategica e alla sua conformazione a torre che oggi è occultata dalle modifiche rinascimentali. La stessa cosa avvenne ad esempio con il Mausoleo di Cecilia Metella sull’Appia antica, che nel XIII secolo fu incluso nel Castrum Caetani, un castello che controllava l’accesso alla città e quindi i traffici e i commerci.