Foi ordenado sacerdote em 1892. Por sugestão do seu irmão, o empresário Béla Perényi, os fiéis húngaros de Nova Iorque escolheram-no como seu padre e, em 1901, apresentaram um pedido ao arcebispo de Eger para que ele pudesse assumir esse ministério. Este pedido foi confirmado pelo arcebispo Corrigan numa carta oficial. Celebrou a sua primeira missa em Nova Iorque a 29 de dezembro de 1901. Tanto durante a sua estada na Hungria como nos Estados Unidos, entrou em conflito com os fiéis em várias ocasiões, tendo-se espalhado também muitos rumores no que diz respeito a questões financeiras. Este conflito culminou em 1905 num processo por difamação em Nova Iorque. Apesar de tudo isto, durante o seu mandato foi construída a Igreja de Santo Estêvão, em Nova Iorque, cuja consagração serviu de ocasião para que as partes, até então em desacordo, fizessem as pazes. Regressou à Hungria em 1908. A partir de 1923, foi vice-decano.