Pôvodne sa stavba nazývala Flaviovský amfiteáter podľa rodového mena Flavius cisárov Vespasiana a Tita. Mala oválny tvar, postavili ju v strede Ríma a išlo o najväčší amfiteáter Rímskej ríše. Pôvodne sa do Kolosea dostalo 50.000 sediacich divákov. Konali sa v ňom gladiátorské zápasy ako zábava pre Rimanov. Gladiátori bojovali medzi sebou alebo so šelmami. Popri gladiátorských zápasoch sa v amfiteátri organizovali rekonštrukcie námorných i pozemných bitiek, vykonávali popravy, hralo sa v ňom divadlo a verejné predstavenia.
V roku 217 Koloseum poškodil požiar, ktorý zničil horné drevené poschodia. Pravdepodobne zemetrasenie zapríčinilo jeho zničenie v roku 443. V ďalších rokoch nasledovalo viacero opráv. 

Zmienky o posledných gladiátorských súbojoch pochádzajú z obdobia okolo roku 400. Koncom 6. storočia bol v amfiteátri postavený kostolík a aréna sa zmenila na cintorín. Z priestorov pod klenbami sa stali ubytovne a dielne. V 13. storočí bola budova premenená na pevnosť. Od 15. storočia slúžila ako kameňolom - materiál sa použil na výstavbu palácov. V roku 1749 pápež Benedikt XIV. vyhlásil Koloseum za posvätné miesto, lebo v ňom boli mučení raní kresťania.

Prvá krížová cesta na pamiatku umučenia Ježiša Krista sa v Koloseu konala v roku 1750 a viedol ju pápež Benedikt XIV. Búrlivé udalosti 18. a 19. storočia neumožnili rozvoj tejto tradície. Obnovil ju pápež Pavol VI. v roku 1964.
Koloseum patrí dodnes medzi vyhľadávané turistické rímske pamiatky.