Nacido en Budapest como Jenö Blau el 18 de noviembre de 1899, Eugene Ormandy ingresó a la Academia de su ciudad natal a los cinco años como alumno de violín y comenzó a ofrecer conciertos dos años después. Siguió sus estudios con Jenö Hubay, se graduó a los 14 y fue nombrado profesor de violín a los 17. Por entonces ya había comenzado a realizar giras por Europa central y en 1921 fue invitado a Nueva York para llevar a cabo una lucrativa gira de conciertos. La gira falló y Ormandy tuvo que buscar trabajo en el Capitol Theatre de Nueva York, donde una gran orquesta acompañaba películas mudas e interpretaba interludios musicales. Rápidamente avanzó hasta obtener el puesto de primer violín y en 1924 debutó como director.

Ormandy se nacionalizó estadounidense en 1927 y obtuvo un trabajo alternativo conduciendo programas de clásicos livianos para el nuevo medio radial, así como algunos conciertos orquestales en el verano. Para esto último fue contratado por la Orquesta de Filadelfia en 1930 y al año siguiente suplió a Toscanini en tres programas de la principal seriue de conciertos de la orquesta en Filadelfia. Esto condujo directamente a un contrato con la Sinfónica de Minneapolis como sucesor de Verbrugghen. Ormandy permaneció en Minneapolis por cinco años (1931-36) logrando fama nacional gracias a sus primeros discos frente a la Sinfónica de esa ciudad.

En 1936 fue contratado por la Orquesta de Filadelfia compartiendo el cargo de director con Stokowski durante dos temporadas y pasando a ser su único conductor musical en 1938, un cargo que mantuvo por más de 35 años. Ormandy no inició ninguna revolución en Filadelfia pero gradualmente fue produciendo aquel voluptuoso sonido orquestal asociado a sus interpretaciones, las que se concentraban sobretodo en el repertorio del romanticismo tardío y las obras de comienzos del siglo XX que demandaban un potente tono orquestal presentado con un alto grado de técnica y pulcritud.

Tales cualidades gobernaron en cierto modo su elección de la nueva música, la que incluyó los estrenos de las Danzas Sinfónicas de Rachmaninov, el Concierto N°3 para piano de Bartok y las Diversiones para la mano izquierda de Britten, así como de obras de Barber, Creston, Sessions y otros (y los estrenos norteamericanos de varias sinfonías de Shostakovich). Sus grabaciones incluyeron el primer concierto para cello y la Sinfonía N°4 de Shostakovich, así como la versión de Deryck Cooke de la Décima Sinfonía de Mahler.

En 1948 Ormandy condujo el primer concierto sinfónico emitido por la televisión estadounidense (adelantándose por una hora y media a una estación rival que transmitió a Toscanini). En 1949 realizó su debut en Inglaterra durante la primera gira de la Orquesta de Filadelfia por Europa. Desde entonces retornó al viejo continente como director invitado de distintas orquestas, pero no condujo muchas óperas después de su debut en el Metropolitan en 1950, cuando presentó Die Fiedermaus. En 1973 realizó la primera gira de una orquesta americana en China, en 1976 recibió el honor de KBE y hasta 1977 enseñó en el Curtis Institute.

Falleció a los 85 años el 12 de marzo de 1985.