Reçu premier au concours de l’École normale supérieure en 1925, premier à l’agrégation de mathématiques en 1928, docteur avec la mention très honorable en 1929, il rejoint l’armée en octobre 1929 pour faire son service militaire, puis soutient sa thèse, sous la direction d’Ernest Vessiot, à la Sorbonne en 1930.
En 1931, la Fondation Rockefeller lui permet de se rendre en Allemagne pour étudier d’abord à Berlin avec John von Neumann, puis à Hambourg avec Emil Artin, et enfin à Göttingen avec Emmy Noether.
Il laisse son nom à deux autres théorèmes, le théorème de Herbrand-Ribet, en théorie des nombres, et le théorème de Herbrand, en logique. Il est à l’origine du « modèle de Herbrand-Gödel » des fonctions récursives.