1897年6月7日、ブダペストに生まれる。幼少の頃から音楽に飛び抜けた才能を示し、とくに記憶力と音感に優れていたという。まずピアノを学び、11才でヨーロッパ各地へ演奏旅行。作曲にも才能を示し、モーツァルトの再来とも評された。16才の時、病気の指揮者の代役としてウィーン交響楽団を指揮したのを最初に、翌年には指揮者としての活動を開始、以後ヨーロッパ各地で活躍する。

　1939年、演奏旅行の途中で第2次世界大戦が勃発したためニューヨークへ移住し、NBC交響楽団、メトロポリタン歌劇場、ニューヨーク・フィルなどを指揮する。1946年にクリーブランド管弦楽団の音楽監督に就任し、以後24年間にわたる演奏活動を開始、当初は米国の一地方オーケストラに過ぎなかったこのオーケストラを、徹底した訓練を通じて世界第一級のオーケストラに育て上げた。とくにアンサンブルの精密さと音色の統一されたハーモニーという点には定評があり、セルの指揮するクリーブランド管弦楽団を、史上最高のオーケストラの一つと評する人も少なくない。

　1970年、大阪万博に際してクリーブランド管弦楽団と共に初来日。このときの演奏は、日本のクラシック音楽演奏史上でも最高のものの一つとされている。帰国後わずか2ヶ月余りの1970年7月30日死去。録音の多くは、ソニークラシカルから発売されている。