Après une maîtrise de droit obtenue en 1978 à l’université Montpellier-I et un diplôme d’administration publique obtenu à l’IRA de Lyon en 1982, Jean-Marie Pelat commence sa carrière comme responsable du bureau du personnel de la préfecture de Lozère. De 1985 à 1988, il est chef des services administratifs de l’IA de Haute-Loire, puis, de 1988 à 1993, secrétaire général adjoint à l’IA de l’Hérault.
De 1993 à 1999, il occupe les fonctions de secrétaire général de l’inspection académique de Haute-Savoie. Depuis 1999, il a été successivement secrétaire général des académies de La Réunion (jusqu’en 2004), de Limoges (jusqu’en 2006), d’Orléans-Tours (jusqu’en 2011), de Montpellier (jusqu’en 2015) puis de Versailles.
En octobre dernier, il est nommé directeur de projet chargé de préfigurer la nouvelle organisation régionale, auprès du recteur de la région académique d'ïle-de-France, recteur de l'académie de Paris.