გაიხსნა 1915 წელს ლოზანაში, ბარონ პიერ დე კუბერტენის თაოსნობით. თავდაპირველად  კაზინო "მონტბენონის" შენობაში ეკავა ერთი ოთახი. 1922 წელს ლოზანის ცენტრში მდებარე  ვილა მონ-რეპოში გადავიდა, სადაც სოკის მაშინდელი შტაბ-ბინა იყო განთავსებული. პიერ დე კუბერტენს სურდა, რომ მუზეუმს საკუთარი შენობა ჰქონოდა და  მთელი ათი წლის განმავლობაში აგროვებდა სახსრებს, სამუზეუმო ექსპონატებს, საარქივო მასალებს. ეს ჩანაფიქრი მაშინ განუხორციელებელი დარჩა. 1982 წელს ოლიმპიური მუზეუმი დროებით გადავიდა ისევ ლოზანის ცენტრში, ავენიუ რუჩონეტზე მდებარე შენობაში. 1988 წელს სოკის მაშინდელი პრეზიდენტის, ხუან ანტონიო სამარანჩის თაოსნობით ჟენევის ტბის სანაპიროზე დაიწყო ოლიპიური მუზეუმის თანამედროვე, ხუთსართულიანი შენობის (ფართობი - 11 ათასი კვ.მ) მშენებლობა.  პროექტის ავტორები: პედრო-ამირეს ვასკესი (მექსიკა) და ჟან პიერ კაპენი (შვეიცარია). შენობის აგებას ხუთი წელიწადი და 96 679 000 შვეიცარიული ფრანკი დასჭირდა. ახალი მუზეუმის გახსნის ცერემონიალი 1993 წლის 23 ივნისს გაიმართა.