La sua costruzione iniziò sotto l'Imperatore Vespasiano , nel 72 DC circa, e l'edificio venne inaugurato da suo figlio Tito nell' 80 DC. Domiziano operò importanti modifiche soprattutto nella parte sotterranea. La costruzione del Colosseo potrebbe essere stata finanziata con il bottino della conquista di Gerusalemme , del 70 DC.

L'edificazione avvenne nell'area occupata dall'enorme palazzo di Nerone , la Domus Aurea , costruita dopo il grande incendio di Roma del 64 . L'operazione servì alla restituzione ad uso pubblico degli spazi cittadini privatizzati da Nerone. Nel punto in cui sorse l'edificio si trovava un laghetto (lo stagnum citato dal poeta Marziale ).

Contemporaneamente all'anfiteatro vennero costruiti alcuni edifici di servizio per i giochi: i ludi (caserme e luoghi di allenamento per i gladiatori , di cui conosciamo il Magnus , il Gallicus , il Matutinus e il Dacicus ), la caserma del distaccamento dei marinai della flotta di Miseno adibiti alla manovra del velarium ( Castra Misenatium ), il Summum Choragium e gli Armamentaria (depositi delle armi e delle attrezzature), il Sanatorium (luogo di cura per le ferite dei combattimenti) e lo Spoliarum o spogliatoio.

Nelle vicinanze era presente una statua colossale di Nerone , dal quale la leggenda vuole che derivi il nome Colosseo. Dopo l'uccisione di questo imperatore la statua venne rimodellata per raffigurare Sol il dio del Sole , aggiungendo l'appropriata corona solare. Il Colosso venne quindi spostato dalla sua originale collocazione per far posto al tempio di Venere e Roma sotto Adriano . Il sito del basamento della statua colossale dopo lo spostamento è attualmente segnato da un moderno basamento in tufo.