Il a fait ses études secondaires à Budapest et à Kalocsa. Il est ensuite entré dans l’ordre des jésuites, qui l’a envoyé étudier à Innsbruck. À partir de 1915, il a appartenu au diocèse de Vác. Il a été ordonné prêtre le 21 mai 1916. En 1927, il est parti aux États-Unis, mais il a été malade à plusieurs reprises, ce qui l’a amené à revenir plusieurs fois en Hongrie, où il est finalement resté. À partir de 1943, il a été mis à la retraite ; ses proches l’ont accueilli, mais il vivait pratiquement dans la misère. Sa maison à Pásztó ayant été détruite pendant la guerre, il demanda en 1946 à être réintégré, mais sa demande fut rejetée. Il obtint un logement de fonction à Vác, où il vécut jusqu’à sa mort. Le livre commémoratif de Chicago lui rend hommage en ces termes : « Le père Kasztovszky ne parvint jamais à s’habituer au mode de vie américain. Il lui est toujours resté étrange que, dans la partie nord de la ville, les fidèles soient dispersés un peu partout, à grande distance les uns des autres. C’était un prêtre à la vie exemplaire, un excellent orateur, mais la langue anglaise est restée pour lui une barrière face à la majorité de ses fidèles. » N’ayant pas obtenu de poste officiel, il a accepté d’apporter son aide pastorale. D’après les archives, même dans ses septuagénaires, il se rendait chaque semaine à vélo à Vác-Deákvár pour y célébrer la messe. À Chicago, dans l’Illinois, un trophée itinérant perpétue sa mémoire ; il est remis au jeune qui récite le plus joliment.