Fu ordinato sacerdote nel 1892. Su proposta di suo fratello Béla Perényi, uomo d’affari, i fedeli ungheresi di New York lo scelsero come loro parroco e nel 1901 presentarono una richiesta all’arcivescovo di Eger affinché potesse assumere tale incarico. Tale richiesta fu confermata dall’arcivescovo Corrigan con una lettera ufficiale. Celebrò la sua prima messa a New York il 29 dicembre 1901. Sia durante la sua permanenza in Ungheria che negli Stati Uniti, entrò più volte in conflitto con i fedeli e circolarono numerose voci anche in ambito finanziario. Questo conflitto culminò nel 1905 in una causa per diffamazione a New York. Nonostante tutto ciò, durante il suo mandato fu costruita la chiesa di Santo Stefano a New York, in occasione della cui consacrazione le parti, fino ad allora in conflitto, fecero pace. Nel 1908 tornò in Ungheria. Dal 1923 fu vice decano.