Афиныда өткен 1906 жылғы Олимпиада кезектен тыс болып шықты, себебі оны ұйымдастырушылар ойындар арасындағы дәстүрлі төрт жылдық үзілісті орындамаған. Осы себепті Олимпиаданы Халықаралық Олимпиада комитеті ресми түрде мойындамады.
1906 жылғы ойындар Афиныда өткен бірінші олимпиаданың он жылдығына орай өткізілді. Екі оқиғаның байланысын одан әрі атап өту үшін Олимпиаданы ұйымдастырушылар 1896 жылғы сияқты жарыс схемасын таңдады. Көбіне жарыстар Мрамор стадионында өтті.
Алдымен Грециядан Олимпиаданы 1906 жылы өткізу туралы ұсыныс түскен кезде ХОК категориялық бас тартпады. Мәселе сол кезде Олимпиада ойындарының беделі түсіп, жұртшылық бұған бұрынғы қызығушылықты білдірмей қалды. Олимпиадалық қозғалыстың түпкілікті құлдырауын болдырмау үшін шаралар қабылдау қажет болды, енді 1908 жылға дейін күтуге мүмкіндік болмады. Кейінірек ХОК 1906 жылғы Олимпиаданы мойындаудан бас тартқанымен, бұл ойындарды құтқару деп аталады, бұл көпшілікке және әсіресе спортшыларға іс-шараға қайта оралуға, қозғалысты және оның идеясын қолдауға мүмкіндік берді.
Қиындық сонымен қатар, дәстүр бойынша Олимпиада әлемнің әртүрлі елдерінде өткізілуі керек еді, бірақ 1906 жылы бұл іс-шара ГОК мүшелерінің наразылығын тудырған Грецияда өткізілуі жоспарланған болатын. Бір жағынан немесе басқа, бірақ 22 сәуірде ойындардың салтанатты ашылуы өтті. Бұқаралық ақпарат құралдары 1906 жылғы Олимпиадаға назар аударған кезде Афинаға көптеген спортшылар мен қонақтар келді.
Іс-шараға әлемнің 20 елінен 900-ге жуық спортшы қатысты, олардың арасында жеті әйел болды. 1906 жылғы Олимпиада шеңберінде жарыстар келесі спорт түрлері бойынша өткізілді: ауыр атлетика, грек-рим күресі, семсерлесу, ескек есу, желкенді жүзу, жүзу, сүңгу, жеңіл атлетика, қақпан мен оқ ату, велоспорт және теннис. Өкінішке орай, ХОК 1906 жылғы Олимпиаданы мойындамағандықтан, оның қатысушылары алған барлық марапаттар жарамсыз болды және болашақта ескерілмеді.
Олимпиаданың жабылу салтанаты 2 мамырда өтті. Іс-шара аяқталғаннан кейін оның нәтижелері әр түрлі елдерде ұзақ уақыт бойы талқыланды, бұл қоғамның ойындарға деген қызығушылығын едәуір арттырды. Бұл әсіресе 2000 жылы 2000-нан астам спортшы қатысқан Лондон Олимпиадасында байқалды.
