En tant que président du Sénat, il a assuré la fonction de président de la République par intérim à deux reprises : en 1969, à la suite de la démission de Charles de Gaulle, et en 1974, après la mort de Georges Pompidou.
Il a été maire de Loudun, président du conseil général de la Vienne et président du conseil régional de Poitou-Charentes. Il est un des fondateurs du Futuroscope.
Il a été président du conseil général des Vosges de 1976 à 2015 et maire de Remiremont de 1983 à 2001. Il est à l'origine du lancement de la chaîne télévisée Public Sénat.
Il est élu président du Sénat à la suite de la victoire de la gauche aux élections sénatoriales de 2011. Il est alors le premier socialiste à occuper cette fonction sous la Ve République.