O grupo surgiu em 1982, vindo das cinzas do Faith No Man, banda formada e liderada por Mike "The Man" Morris. Roddy Bottum, Mike Bordin e Bill Gould, então integrantes do grupo, decidiram livrar-se de Morris e ao invés de demití-lo, preferiram formar uma nova banda. Por sugestão de um amigo, o nome escolhido foi Faith No More, já que "The Man" (Morris) "não mais" (no more, em inglês) faria parte do grupo (Nota do editor: A tradução literal de Faith No More para o português é de Fé Não Mais). No lugar de Morris, foi recrutado Jim Martin na guitarra. Diversos músicos ocuparam a vaga de vocalista nesta fase - dentre eles Courtney Love - até os membros optarem por Chuck Mosley, que participaria apenas dos dois primeiros discos da banda: We Care a Lot, de 1985, e Introduce Yourself, de 1987.
Mosley foi demitido em 1988 e os motivos da sua saída ainda geram certa discussão entre os fãs de Faith No More. A versão oficial seria de que Chuck foi mandado embora por ser alcoólatra e por ter causado problemas em alguns shows da banda. Entretanto muitos acreditam que o real motivo da demissão foi o fato de Mosley ser um vocalista limitado. No seu lugar foi escolhido Mike Patton, que rapidamente se tornaria a figura mais emblemática do grupo.
Mike Patton entrou no Faith No More poucas semanas antes das gravações do disco The Real Thing por indicação de Jim Martin, que havia ouvido uma fita demo da banda de Patton, o Mr. Bungle.
A banda na sua formação clássica Mike Patton entrou no Faith No More direto para o estúdio onde a banda gravou The Real Thing, lançado em 1989. The Real Thing é um verdadeiro divisor de águas na carreira do grupo, com músicas mais bem resolvidas e com o carisma de Mike Patton contribuindo para transformar o Faith No More num grande sucesso comercial.