Pantano oli valmis tekemään Formula 1:n debyyttinsä Jaguarin kanssa, mutta kaksi päivää ennen hänen allekirjoittamistaan joukkueen kanssa he tekivät sopimuksen Christian Klienin kanssa, joka pystyi tuomaan 10 miljoonaa dollaria rahoitusta Red Bullista. Italialainen allekirjoitti sen sijaan Jordanian Formula 1 -joukkueeseen vuoden 2004 alussa, ja vähäisten testien jälkeen hänen kautensa osoittautui vaikeaksi. Hän pääsi viimeiseksi ensimmäisessä Melbourne-kilpailussa, kun taas hänen kokeneempi tiimikaverinsa Nick Heidfeld vetäytyi vaihteiston ongelman vuoksi. Hän jatkoi kilpailua, eikä koskaan onnistunut pääsemään pätevyyteen tai pääsemään korkeammalle kuin kentän takaosaan, ja vetäytyi useissa tapauksissa, eikä saanut paljon huomiota. Hänet korvattiin Saksan debyyttinäyttelijä Timo Glockin kanssa (taloudellisista syistä) Kanadan Grand Prix -kilpailussa.
, joka sai kaksi pistettä seitsemäntenä, ennen joukkuetoverinsa Nick Heidfeldiä, joka oli kahdeksas. Pantano palasi tiimiinsä seuraavalle kisoille Indianapolisissa, mutta hävisi ensimmäisessä mutkassa törmättyään muihin kuljettajiin. Hän jatkoi pettymyksiä tuottavilla tuloksilla Monzan Italian Grand Prix -kilpailuun saakka, jonka jälkeen hänet korvattiin Timo Glockilla kauden jäljellä olevissa kolmessa kilpailussa. Pantano paljasti myöhemmin, että se oli ollut hänen oma valintansa lopettaa Jordanin kanssa kilpailun johtuen taloudellisesta rasituksesta, joka asetettiin hänen perheelleen ja hänen omille tunteilleen, että joukkue suosii hänen joukkuetoverinsa Heidfeldiä häntä kohtaan. Pantano oli yhteydessä Campos Metan kanssa Formula Yhden paluuun, mutta joukkue vahvisti, että Bruno Senna ja Karun Chandhok liittyisivät joukkueeseen.