Po raz pierwszy boks pojawił się w programie 3. Igrzysk Olimpijskich w 1904 roku w amerykańskim Saint Louis. 19 zawodników (niestety tylko z USA) rywalizowało w 7. kategoriach wagowych. Najliczniej obsadzona była waga 61,2kg, w której wystartowało ośmiu pięściarzy i tylko w tej kategorii oprócz pojedynku finałowego zawodnicy walczyli także o 3. miejsce. Niektórzy bili się w dwóch wagach, chociażby jak Oliver Kirk, mistrz w 52,2 kg i 56,7 kg.
W sumie w St. Louis wystąpiło blisko 700 sportowców z 13 państw. Rywalizacja od 1 lipca do 23 listopada toczyła się w 18 dyscyplinach , także w... przeciąganiu liny.

Finały pierwszego olimpijskiego turnieju w boksie (22 września 1904):

47,6 kg: George Finnegan - Miles Burke TKO 1
52,2 kg: Oliver Kirk - George Finnegan TKO 3
56,7 kg: Oliver Kirk - Frank Haller PTS
61,2 kg: Harry Spanjer - Jack Eagan PTS
65,8 kg: Albert Young - Harry Spanjer PTS
71,7 kg: Charles Mayer - Benjamin Spradley TKO 3
+71,7kg: Samuel Berger - Charles Mayer PTS