En 1892 fue ordenado sacerdote. A propuesta de su hermano, el empresario Béla Perényi, los fieles húngaros de Nueva York lo eligieron como su párroco y solicitaron al arzobispo de Eger, en 1901, que le permitiera asumir este ministerio. El arzobispo Corrigan confirmó esta petición mediante una carta oficial. Celebró su primera misa en Nueva York el 29 de diciembre de 1901. Tanto durante su estancia en Hungría como en Estados Unidos, entró en conflicto con los feligreses en numerosas ocasiones, y también se difundieron muchos rumores en materia de finanzas. Este conflicto culminó en 1905 en un juicio por difamación en Nueva York. A pesar de todo ello, durante su mandato se construyó la iglesia de San Esteban de Nueva York, en cuya consagración las partes, hasta entonces en conflicto, firmaron la paz. Regresó a Hungría en 1908. A partir de 1923 fue vicar general.