Au cours d'une tournée théâtrale à travers le monde, il rencontre à Singapour le célèbre dramaturge Noël Coward qui favorise le début de sa carrière artistique. Ses meilleurs rôles vont relever des films produits par ce dernier : Ceux qui servent en mer (N. Coward et D. Lean, 1942), Heureux Mortels (D. Lean, 1944), et il devient l'un des acteurs les plus populaires de Grande-Bretagne en se spécialisant dans les officiers valeureux au caractère obstiné et tenace (le fameux « stiff upper lip » anglais), notamment dans Plongée à l'aube (A. Asquith, 1943), le Chemin des étoiles (id., 1945), La nuit commence à l'aube (Morning Departure, R. Baker, 1950), les Indomptables de Colditz (The Colditz Story, G. Hamilton, 1955), Opération Tirpitz (Above Us the Waves, R. Thomas, id.), les Fanfares de la gloire (R. Neame, 1960). Mais il fut surtout l'inoubliable Mr. Pip des Grandes Espérances (D. Lean, 1946), l'ouvrier bottier dans la comédie humoristique Chaussure à son pied (id., 1954), le prêtre convoité par l'homosexuel du Cavalier noir (R. Baker, 1961) et l'hallucinant idiot édenté de la Fille de Ryan (Lean, 1970), rôle récompensé par un Oscar. John Mills fut également le producteur de The Rocking Horse Winner (A. Pelissier, 1949) et le réalisateur de Sky West and Crooked (1965) avec sa fille Hayley dans le rôle principal.
