Zoon van Gaétan Madelin, arbeider bij Renault en van Aline Madelin, bracht hij zijn jeugd door in Belleville bij Parijs. Hij trouwde tweemaal en kreeg drie kinderen uit zijn eerste huwelijk en twee uit het tweede.
Hij volgde een technische vorming in het Lycée Voltaire (1959-1963) als bankwerker, draaier en frezer. Hij beschreef de school als een 'communistisch lyceum' en in oppositie hiermee trok hij op met de uiterst rechtse Fédération des étudiants nationalistes. Hij studeerde verder de rechten aan de Université Panthéon-Assas en werd medestichter van de uiterst rechtse studentenvereniging Occident, met onder meer studenten die later ook rechtse minister zouden worden: Gérard Longuet, Hervé Novelli en Patrick Devedjian.
In 1965 steunde Madelin de presidentskandidaat Jean-Louis Tixier-Vignancour. In 1966 nam hij deel aan manifestaties tegen de voorstellingen van Les Paravents van Jean Genet in het Odeontheater. Na mei 68 verliet hij de extreemrechtse milieus, van oordeel geworden dat alleen de democratie een goede dam tegen het communisme kon opwerpen.
In 1971 promoveerde hij tot licentiaat in de rechten en werd advocaat. Hij werkte bij verschillende werkgeversorganisaties, onder meer met Georges Albertini.
Einde 1968 sloot hij aan bij de partij Républicains indépendants, geleid door Valéry Giscard d'Estaing. In 1974 nam hij deel aan de campagne voor de presidentsverkiezingen.
In 1978 werd hij verkozen tot volksvertegenwoordiger in het departement Ille-et-Vilaine en werd vicevoorzitter van de regionale raad voor Bretagne. Hij veroorzaakte sensatie door in het parlement zonder das te verschijnen.
Steeds herkozen, werd hij in 1984 gecensureerd omdat hij, samen met Jacques Toubon, beledigend had gesproken over president François Mitterrand.
In 1985 werd hij algemeen vertegenwoordiger van de Parti républicain en hij werd er in 1988 secretaris-generaal van.
In 1986 won rechts de wetgevende verkiezingen en werd Jacques Chirac eerste minister. Madelin werd minister van Industrie, Posterijen, Telecommunicatie en Toerisme. In 1993 werd hij, onder Édouard Balladur, minister voor Ondernemingen en Economische Ontwikkeling.
In 1995 werd hij verkozen tot maire van Redon, wat hij bleef tot in 2001. Hij volgde dit jaar zijn eigen partij niet in diens steun voor Balladur en steunde integendeel Chirac bij de presidentsverkiezingen.
Chirac benoemde hem tot minister voor Economie en Financies. Hij nam echter posities in die in strijd waren met die van eerste minister Alain Juppé en werd na drie maanden tot ontslag gedwongen.
Van 1989 tot 1997 was hij vicevoorzitter van de Parti républicain en van 1991 tot 1996 van de UDF. Hij slaagde er niet in om zich tot voorzitter van de UDF te doen verkiezen, maar wel van het onderdeel ervan, de Parti républicain. Hij gaf aan die partij in 1997 een nieuwe naam, die van Démocratie libérale, waar hij voorzitter van bleef tot in 2002.
In 1998 ontstond een breuk tussen de Parti républicain en de UDF, toen Madelin weigerde de regionale voorzitters te veroordelen die met de steun van het Front National waren verkozen.
In 2002 stelde Madelin zich kandidaat voor het presidentschap en behaalde 3,91 % van de stemmen. Hij trad vervolgens toe tot de UMP. In 2006 verliet hij de politiek en aanvaardde functies in de ondernemerswereld.
Bij de voorverkiezingen van rechts in 2016 steunde hij Alain Juppé. Daarna steunde hij Emmanuel Macron.