Il est né sur le territoire du royaume de Galicie-Lodomérie, qui faisait partie de la monarchie austro-hongroise. Ses parents étaient Albert Koller et Anastasia Bauer ; il avait sept frères et sœurs. Il est arrivé aux États-Unis à l’âge de deux ans. Il a été ordonné prêtre le 14 juin 1936.
Il a participé à la pastorale hongroise, mais on ne dispose d’aucune information sur la date et le lieu où il a appris le hongrois.