Jean-Marie Guéhenno est un ancien élève de l'École normale supérieure de la rue d'Ulm et agrégé de Lettres modernes. Il a été auditeur à la Cour des Comptes à sa sortie de l'École nationale d'administration (ENA), en 1976, puis conseiller référendaire et Conseiller-Maître. 

Jean-Marie Guéhenno a passé une partie de sa carrière au Ministère des Affaires Étrangères, où il a occupé successivement les fonctions de membre du Centre d'analyse et de prévision, de Conseiller culturel de l'Ambassade de France aux États-Unis de 1982 à 1986, de chef du Centre d'analyse et de prévision de 1989 à 1993, et de représentant permanent de la France auprès de l'Union de l'Europe occidentale de 1993 à 1995.

Il a été président de l'Institut des hautes études de défense nationale (IHEDN), en France, de 1998 à 2000.

De 1999 à 2000, il a également été membre du Conseil consultatif sur les questions de désarmement des Nations unies. Il a été Secrétaire général adjoint des Nations unies, chargé des opérations de maintien de la paix, d'octobre 2000 à juillet 2008. Il a présidé la Commission du Livre Blanc de La Défense et de la Sécurité Nationale en 2012-13. Il est actuellement professeur à l'Université Columbia (Arnold Saltzman Institute, School of International and Public Affairs- SIPA), après avoir présidé l’ONG International Crisis Group (2014-2017). Il est également associé à la Brookings Institution. Il a publié de nombreux articles et quatre ouvrages: la Fin de la démocratie (1993, traduit en anglais sous le titre The End of The Nation State); l'Avenir de la liberté (1999): la démocratie dans la mondialisation; The Fog of Peace: a memoir of international peacekeeping in the 21st century (2015); Le Premier XXIème Siècle, de la Globalisation à l’émiettement du Monde, paru chez Flammarion en 2021, et couronné par le prix de la Revue des Deux Mondes en 2022.