Hijo de John J. Gergen, presidente del Departamento de Matemática de La Universidad de Duke, Gergen se crio en Durham, Carolina del Norte. Tenía tres hermanos, uno de los cuales es David Gergen, el prominente analista político. Después de completar la enseñanza pública, asistió a La Universidad de Yale. Se graduó en 1957, posteriormente pasó a ser un oficial de la Marina de los EE. UU.
Luego regresó a la escuela de posgrado en la Universidad de Duke, donde recibió su doctorado en psicología en 1963. Su director de tesis fue Edward E. Jones. Gergen se convirtió en profesor asistente en el Departamento de Relaciones Sociales de la Universidad de Harvard, donde también se convirtió en el Presidente de la Junta de Tutores y Asesores para el departamento y representativo en el Consejo de Política Educativa de la universidad.
Después de completar estudios de posgrado en psicología social experimental, Gergen tuvo un gran impacto en este campo con su artículo 1973, "Psicología Social como Historia". En el artículo, sostiene que las leyes y principios de la interacción social son variables con el tiempo, y que el conocimiento científico generado por los psicólogos sociales realmente influye en los fenómenos que tiene por objeto, es decir, describir de forma pasiva. El artículo resultó polémico, recibiendo tanto críticas como el apoyo de varios psicólogos sociales.
El trabajo de Gergen está asociado con el construccionismo social. Él ha estado especialmente preocupado por fomentar "una relacional" vista del mismo, donde el “tradicional énfasis sobre la mente individual se sustituye por una preocupación por los procesos de relación de la que emerge la racionalidad y la moralidad." También es conocido por su comentario "Estoy ligado por lo tanto yo soy" como una respuesta a la posición de Descartes "pienso, luego existo".