Nacque nel Regno di Galizia e Lodomeria, che faceva parte della Monarchia austro-ungarica. I suoi genitori erano Albert Koller e Anastasia Bauer; ebbe sette fratelli. È arrivato negli Stati Uniti all’età di due anni. È stato ordinato sacerdote il 14 giugno 1936.
Ha partecipato alla pastorale ungherese, ma non ci sono dati su quando e dove abbia imparato l’ungherese.