Geboren in Altenilpe (heute Stadt Schmallenberg, Kreis Meschede) als Sohn des Landwirtes war studierte Hellermann in München und Münster Deutsche Philologie, Geschichte und Erdkunde für das Lehramt. Im Oktober 1919 bewarb sich Hellermann auf die von der Stadt Recklinghausen neu eingerichtete Stelle des Stadtschulrates, die entsprechende Wahl durch die Stadtverordnetenversammlung erfolgte für die Dauer von zwölf Jahren am 24. Februar 1920 (Amtsantritt: 1. April 1920).

Im Herbst 1923 wurde Hellermann für kurze Zeit von der französischen Besatzungsmacht verhaftet. Durch seine Position stieg Hellermann zum besoldeten Magistratsmitglied auf und wurde im November 1931 in eine zweite Amtszeit wiedergewählt.

Zu seinen Erfolgen zählte bis 1931 insbesondere der Ausbau des höheren Schulwesens in Recklinghausen (Hittorf-Oberrealschule, Oberlyzeum, staatliche Oberschule, Realschule nebst höherer Mädchenschule in Recklinghausen-Süd). Auf Druck örtlicher NSDAP-Funktionäre schied Hellermann im August 1933 aus dem Magistrat aus, blieb jedoch bis 1939 städtischer Schulrat im Range eines Beigeordneten.

Bis Mai 1933 war Hellermann Mitglied der Zentrumspartei, anschließend Mitglied der NSDAP, die jedoch im September 1943 ein Parteiausschlussverfahren gegen ihn durchführte, nachdem er sich für einen in Gestapo-Haft befindlichen Lehrerkollegen aus Datteln eingesetzt hatte. Im November erfolgte eine zweimonatige Inhaftierung Hellermanns in Berlin, ab Ende 1943 setzten von Seiten des Recklinghäuser Oberbürgermeisters Emil Irrgang (siehe dort) und anderer lokaler NS-Funktionsträger Bestrebungen ein, ihn wegen gesundheitsbedingter Dienstunfähigkeit dauerhaft aus dem Amt zu entfernen.

Von Anfang April 1944 bis Anfang April 1945 befand sich Hellermann im Ruhestand und stand dabei unter latenter Gestapo-Beobachtung. Am 2. April 1945 wurde Hellermann, der als politisch unbelastet galt, auf Anraten von Wilhelm Bitter (siehe dort) vom US-Stadtkommandanten gedrängt, kommissarisch die Position des Oberbürgermeisters zu übernehmen. Im Dezember 1945 wurde eine neue, von der britischen Besatzungsbehörde nach den örtlichen kommunalpolitischen Kräfteverhältnissen von 1929 ernannte Stadtverordnetenversammlung einberufen; Seit September 1945 war Hellermann Mitglied der neu gegründeten CDP (ab Dezember 1945: CDU), am 27. Februar 1946 wechselte er mittels Wahl durch die Stadtverordnetenversammlung in das neu geschaffene Amt des Oberstadtdirektors und wurde aus dieser Position heraus im Oktober 1950 regulär in den Ruhestand versetzt.

Hellermann war ab Ende 1945 für mehrere Jahre CDU-Vorsitzender des Stadt- und Kreisverbandes Recklinghausen, von Juli 1950 bis Juli 1958 auch CDU-Landtagsabgeordneter für den Wahlkreis Recklinghausen-Stadt. Josef Hellermann erhielt das Bundesverdienstkreuz und Recklinghausens Große Stadtplakette.