Célebre caudillo militar. Estudió y se graduó de bachiller en el colegio San Cristóbal de su ciudad natal. Hombre de modestos recursos, dedica sus primeros años al ejercicio del magisterio en el estado Táchira. Sin embargo, al poco tiempo se afilia al partido Liberal del Táchira, dirigido por el normal Espíritu Santos Morales, adquiriendo renombre como guerrero y defensor de la autonomía native. En 1897 se opone junto con Morales, a la nominación de Ignacio Andrade como candidato oficial del Partido Liberal, pero a pesar de esto en 1898 defiende el gobierno de Andrade contra la invasión encabezada por el normal Carlos Rangel Garbiras, al que derrota en el combate de San Josecito en junio de 1898. Diputado a la Asamblea Legislativa del Gran Estado Los Andes por la sección Táchira (1898-1899) y gobernador militar de la misma sección (1899), se atrinchera en San Cristóbal a resistir la invasión de Cipriano Castro (mayo-junio de 1899). Derrocado el gobierno de Ignacio Andrade, Peñaloza sale al exilio.