En 1971 la banda británica Deep Purple llegó hasta la ciudad de Montreux en Suiza para registrar su sexto álbum. A los músicos no les entusiasmaba trabajar dentro de un estudio, por lo que se propuso grabarlo tocando con su equipo en el escenario del Casino.
Deep Purple fue recibido por Claude Nobs, organizador del Festival de Montreux, quien les regaló unas entradas para un concierto que darían Frank Zappa and the Mothers of Invention, en el mismo casino destinado para la grabación. Pero el 4 de diciembre de 1971 algo sucedió. El cielo de la ciudad suiza se tiñó de negro, el concierto de Zappa estaba finalizando y una persona del público armado con un lanzabengalas disparó una bengala al techo. El fuego comenzó a arrasar con el casino y se comenzó a evacuar el espacio.
De un minuto a otro, la banda se había quedado sin lugar para trabajar y además, había costado inspirarse nuevamente post incendio, pero con los días, Deep Purple empezó a grabar las bases de una canción que provisoriamente se llamaba “Tittle n° 1”. El bajista de la banda,Roger Clover aportó finalmente el título definitivo, después de una pesadilla. Según declaró “me vino a la cabeza en un sueño tres días después del incendio. Me levanté sudando y me dije, gritando: ‘Smoke on the water’. Lo anoté y al día siguiente le sugerí a los demás que debíamos escribir una canción sobre lo que nos había pasado”.
En un primer momento, el vocalista rechazó este título porque podía pensarse que era una canción sobre drogas, finalmente decidieron quedarse con la metáfora, ya que encajaba perfecto con una base que tenían escrita en una servilleta de papel. Había tomado esas notas el día del incendio. Desde la habitación de su hotel contempló el humo de unos 30 metros que terminó con el casino reflejado en el lago Leman.