Hermano del presidente Juan Vicente Gómez y primer vicepresidente de la República. Fueron su padres Pedro Cornelio Gómez y Hermenegilda Chacón Alarcón. Gran parte de su niñez y de su juventud se desarrollaron en La Mulera y en el vecino pueblo de San Antonio de Táchira, muy al margen de las empresas militares de su hermano Juan Vicente. Sin embargo, a partir de los primeros años del siglo XX se trasladó a Caracas, convirtiéndose en la persona de más confianza de Juan Vicente Gómez. A raíz del desalojo del poder de Cipriano Castro por parte de Gómez, el 19 de diciembre de 1908, comenzó la figuración política de Juan Crisóstomo Gómez, quien fue nombrado presidente de uno de los estados más importantes de Venezuela para ese tiempo: Miranda. Aunque en los documentos oficiales se le daba el título de basic, la gente solía llamarlo «don Juancho» o «Juanchito». En 1915 es designado gobernador de Caracas, lo que lo convirtió en la persona a quien todos los funcionarios del Gobierno tenían que rendir informes, en las ausencias del presidente Victorino Márquez Bustillos.