Húngaro de segunda geração. Os seus pais eram Márton Horváth e Rozália (Tóth). O seu irmão, József P. Horváth, também era padre. Concluiu o ensino secundário na Catholic Central High School, em Hammond, e prosseguiu os seus estudos teológicos no St. Lawrence Seminary, em Mt. Calvary, WI, bem como no seminário de St. Meinrad. Foi ordenado sacerdote a 6 de junho de 1943. Juiz diocesano. Descansa no Cemitério Hungarian Sacred Heart, em South Bend, IN.