Après des études à Berlin, Prague et Göttingen, il devient réalisateur en 1951 (Primanerinnen). El Hakim (1957), avec Nadja Tiller et O. W. Fischer, attire l'attention sur Rolf Thiele, qui tourne l'année suivante son film le plus célèbre : la Fille Rosemarie (Das Mädchen Rosemarie), dont Gert Froebe, Peter van Eyck, Mario Adorf et Nadja Tiller sont les vedettes. Bousculant les conventions morales du cinéma allemand de l'après-guerre, Thiele va s'attacher à une succession de sujets sexuellement orientés et, la plupart du temps, interprétés par Nadja Tiller, devenue son actrice d'élection. À bout de nerfs (Labyrinth, 1959), Lulu (1962), Moral 63 (1963), Venusberg (id.), D-M Killer (1964), Wälsungenblut (id.) et Komm nur mein liebstes Vögelein... (1968) sont autant de surprises. En 1964, il a réalisé une intéressante adaptation de Tonio Kröger d'après Thomas Mann. Mal connu en France, c'est incontestablement un cinéaste sous-estimé.