Kielholz speelde tussen 1933 en 1938 voor Zwitserland, hij speelde in totaal 17 interlands waarin hij twaalf keer kon scoren. Hij nam met zijn land deel aan het WK 1934 en aan het WK 1938.
Hij trainde gedurende zijn spelersloopbaan Stade de Reims en nadien in twee periodes de nationale ploeg van Zwitserland.