Nato in una famiglia ebrea di Modesto in California, primo dei tre figli di Arnold e Lenore Smith Spitz. Spitz ha detenuto a lungo il record del maggior numero di medaglie d’oro vinte in una singola edizione dei Giochi olimpici (sette), che stabilì a Monaco 1972 (la settima venne vinta il 4 settembre).

Nel 1968, Mark Spitz partecipò alla sua prima Olimpiade a Città del Messico. Assieme ai suoi compagni di squadra, Spitz vinse due titoli: nelle staffette 4 x 100m e 4 x 200m stile libero. Inoltre, giunse secondo nei 100m farfalla e terzo nei 100m stile libero. Nonostante questi successi, Spitz era deluso, in quanto aveva preannunciato la vittoria di cinque ori, cosa che gli era già riuscita ai Giochi panamericani del 1967.

Quattro anni dopo, a Monaco di Baviera, Spitz ebbe la sua rivincita. In quell’edizione vinse sette medaglie d’oro, un’impresa superata solo da Michael Phelps alle Olimpiadi di Pechino 2008. A rendere ancor più rimarchevole l’impresa, Spitz stabilì il record del mondo in tutte e sette le gare che lo videro vincitore (100m e 200m stile libero, 100m e 200m farfalla, 4 x 100m e 4x200m stile libero, e infine 4 x 100m mista).

Benché avesse solo 22 anni, Spitz abbandonò il nuoto dopo i Giochi di Monaco.

Nel 1977 fu inserito nella International Swimming Hall of Fame, la Hall of Fame internazionale degli sport acquatici.

All’età di 41 anni, Spitz cercò di ritornare alle competizioni tentando di qualificarsi per le Olimpiadi di Barcellona 1992, dopo che il produttore cinematografico Bud Greenspan gli offrì il pagamento di un milione di dollari se fosse riuscito nell’impresa. Ripreso dalle cineprese di Greenspan, Spitz non riuscì ad andare sotto il tempo limite per la qualificazione.