Jan van Zijl was tussen 1989 en 2000 kamerlid voor de PvdA. Hij was opeenvolgend secretaris en vicevoorzitter van zijn fractie. Hij voerde het woord over het arbeidsmarktbeleid, sociale zekerheid en inkomenspolitiek. Hij was tevens woordvoerder AOW en pensioenen. Ook was hij in de Tweede Kamer initiator van de verantwoordingscyclus en de 3e woensdag in mei, als tegenhanger van de begrotingscyclus en Prinsjesdag.
Jan verliet in 2000 het parlement om voorzitter te worden van de Raad voor werk en inkomen. Dit adviescollege van het kabinet adviseerde onder meer over de houdbaarheid van de oudedagsvoorzieningen in het licht van de vergrijzing en de veranderde omstandigheden op de arbeidsmarkt.
Tussen 2007 en 2016 was Van Zijl voorzitter van de MBO-Raad, de vereniging van Nederlandse MBO-instellingen. Vanuit die functie trad van Zijl op als woordvoerder pensioenen namens alles publieke werkgevers (onderwijs, gemeenten, provincie, rijk en waterschappen) in de onderhandelingen met het kabinet, de vakbonden en het ABP.
Tenslotte was Jan van 2016 tot 2021 vicevoorzitter van het ABP.