Narodil se 14. prosince 1939 ve Zlíně. Po dvou letech studia herectví na VŠMU v Bratislavě přešel na pražskou DAMU, kde absolvoval v roce 1962.

Divadle na Vinohradech, v téže době hostoval i na scéně Národního divadla. Po ukončení vojenské služby nastoupil do vznikajícího Činoherního klubu, se kterým je spjata stěžejní etapa jeho divadelní kariéry. Roku 1992 přijal angažmá v Národním divadle, nicméně po dvou letech odešel z divadla natrvalo.

Poprvé se před kamerou objevil ve třetím ročníku DAMU v černobílé moralitce STROP (1961) – absolventského filmu Věry Chytilové. Současně natočil malou roli v detektivce Vladimíra Čecha KDE ALIBI NESTAČÍ. Další rok mu přinesl už velké příležitosti – rozsáhlou úlohu milovníka v Brynychově NESCHOV�?VEJTE SE, KDYŽ PRŠÍ a drobnou postavu Datla v následujícím TRANSPORTU Z R�?JE. Náročná, nicméně příjemná byla spolupráce s Jaromilem Jirešem na K�?IKU. Tady už jako mladý herec prokázal, že vládne širokým talentem, schopen vdechnout život protikladným postavám. A pak už to šlo ráz na ráz.

Ztvárnil řadu krásných úloh ve filmech 60. a 70. let: např. VELK�? CESTA (režie Jurij Ozerov, 1963), KAŽDÝ DEN ODVAHU (režie Evald Schorm, 1964), DITA SAXOV�? (režie Antonín Moskalyk, 1967), PENSION PRO SVOBODNÉ P�?NY (režie Jiří Krejčík, 1967), PARTIE KR�?SNÉHO DRAGOUNA (režie Jiří Sequens, 1970), HOLKA NA ZABITÍ (režie Juraj Herz, 1975).

V roce 1976 natočil epizodní roli v komedii dvojice Smoljak-Svěrák MAREČKU, PODEJTE MI PERO! S ní přišel zásadní obrat, neboť tito tvůrci rozpoznali Abrhámův smysl pro humor a začali ho obsazovat do svých komedií – KULOVÝ BLESK (1978) a VRCHNÍ, PRCHNI!

Často jej obsazuje do svých filmů také režisér Jiří Menzel. Poprvé to bylo v adaptaci Vančury KONEC STARÝCH ČASŮ (1989), poté ve snímku ŽEBR�?CK�? OPERA (1991) a nyní do svého nového filmu OBSLUHOVAL JSEM ANGLICKÉHO KR�?LE.
Získal Českého lva 1993 za nejlepší mužský herecký výkon roku ve filmu Jana Hřebejka ŠAKALÍ LÉTA. Z dalších filmů: ANDĚLSKÉ OČI (režie Dušan Klein, 1994), komedie STŮJ, NEBO SE NETREFÍM (režie Jiří Chlumský, 1998), VŠICHNI MOJI BLÍZCÍ (režie Matej Mináč, 1998), N�?VRAT ZTRACENÉHO R�?JE (režie Vojtěch Jasný, 1999), P�?NSK�? JÍZDA (režie Martin Kotík, 2004) a Hřebejkova KR�?SKA V NESN�?ZÍCH (2006).

Šťastnou ruku měl Josef Abrhám i při volbě televizních seriálů: jeho primář Blažej v legendárním seriálu NEMOCNICE NA KRAJI MĚSTA mu přinesl celonárodní věhlas. V několika titulech se setkal i se svou ženou Libuší Šafránkovou, nejnověji v seriálu České televize N�?VES.

Navzdory hereckému mistrovství nepodléhal Josef Abrhám nikdy hvězdným návykům, sporadicky poskytuje rozhovory a nerad se předvádí na veřejnosti.