Im Jahr 1892 wurde er zum Priester geweiht. Auf Vorschlag seines Bruders, des Kaufmanns Béla Perényi, wählten ihn die ungarischen Gläubigen in New York zu ihrem Priester und beantragten 1901 beim Erzbischof von Eger, dass er diesen Dienst übernehmen dürfe. Erzbischof Corrigan bestätigte diesen Antrag in einem offiziellen Schreiben. Seine erste Messe in New York hielt er am 29. Dezember 1901. Sowohl während seines Aufenthalts in Ungarn als auch in den USA kam es mehrfach zu Konflikten mit den Gläubigen, und auch in finanzieller Hinsicht machten zahlreiche Gerüchte die Runde. Dieser Konflikt gipfelte 1905 in New York in einem Verleumdungsprozess. Trotz alledem wurde während seiner Amtszeit die St.-Stephans-Kirche in New York errichtet, bei deren Weihe die bis dahin zerstrittenen Parteien Frieden schlossen. 1908 kehrte er nach Ungarn zurück. Ab 1923 war er stellvertretender Dekan.