Il fut ordonné prêtre en 1892. Sur la proposition de son frère, Béla Perényi, homme d’affaires, les fidèles hongrois de New York le choisirent comme prêtre et adressèrent une requête à l’archevêque d’Eger en 1901 afin qu’il puisse assumer cette fonction. L’archevêque Corrigan a confirmé cette demande par une lettre officielle. Il a célébré sa première messe à New York le 29 décembre 1901. Tant pendant son séjour en Hongrie qu’aux États-Unis, il entra à plusieurs reprises en conflit avec les fidèles, et de nombreuses rumeurs circulèrent également au sujet de ses affaires financières. Ce conflit culmina en 1905 par un procès en diffamation à New York. Malgré tout, c’est sous son mandat que fut construite l’église Saint-Étienne de New York, dont la consécration fut l’occasion pour les parties, jusque-là en conflit, de faire la paix. Il revint en Hongrie en 1908. À partir de 1923, il fut vicaire.