Zé Vieira começou a carreira política em 1992, quando foi eleito vereador em Bacabal. Em 1996, venceu as eleições para a prefeitura da cidade, tendo sido reeleito em 2000.

Em 2006, Zé Vieira ficou na suplência para deputado federal, mas assumiu o cargo em 2008. Em 2010, conseguiu ser reeleito. Por fim, em 2016, foi eleito mais uma vez prefeito de Bacabal, mas já entrou na disputa eleitoral condenado por improbidade administrativa e enriquecimento ilícito em julgamento feito pelo Tribunal de Justiça do Maranhão, em 2016, antes da eleição.

Após uma série de decisões judiciais, no dia 5 de janeiro de 2018, a Câmara Municipal de Bacabal determinou o afastamento imediato de Zé Vieira. A decisão foi expedida pelo presidente da casa, Edvan Brandão de Farias. À época, o vice-prefeito de Bacabal, Florêncio Neto (PHS), assumiu a Prefeitura.