Родился в семье профессионального революционера, члена ВКП(б) с 1908 года Сергея Корнильевича Судьина. Отец работал заместителем народного комиссара внешней торговли. В 1937 году он был репрессирован и через год расстрелян. Мать Мария Феофановна Яковлева (1898-1976), дочь врача, работала режиссёром. После гибели мужа она сменила фамилию себе и сыну.
Сергей завершал среднее образование в школе рабочей молодёжи, параллельно работая учеником токаря. С началом Великой Отечественной войны строил противотанковые укрепления. В январе 1943 года достиг призывного возраста и ушёл в ряды Красной армии. В Суздале закончил Винницкое пехотное училище, служил в 7-м запасном воздушно-десантном полку. С марта 1945 года в составе 7-й воздушно-десантной бригады участвовал в боях в Венгрии и Австрии, откуда
в декабре 1946 года был эвакуирован в Тейково Ивановской области. Затем учился в школе радиоспециалистов в Горьком, служил в 73-м отдельном
стрелковом батальоне, нёс патрульную службу в Москве. Награждён орденом Славы III степени, медалями «За Отвагу» и
«За победу над Германией».
После демобилизации в 1947 году Сергей Яковлев служил рабочим сцены и статистом Театра литературного чтения при ВТО, сыграл эпизодическую роль полового в спектакле «Живой труп» Л.Н. Толстого. В 1948 году поступил на актёрский факультет ГИТИСа на курс А.М. Лобанова и А.А. Гончарова, по окончании которого в 1952 году вошёл в состав театра Центрального дома культуры железнодорожников. Вместе с коллективом театра обслуживал железнодорожников и воинские части в разных уголках страны.
В период работы в театре ЦДКЖ Сергей Яковлев дебютировал в кино в картине Леонида Гайдая и Валентина Невзорова «Долгий путь» в главной роли – станционного смотрителя Василия Кругликова. Затем снялся в фильме Юлия Райзмана «Коммунист».
После удачных ролей в кино Сергей Яковлев некоторое время работал в Центральной студии киноактёра, а после её закрытия в 1958 году перешёл в труппу Московского драматического театра (позднее – Театр на Малой Бронной). С 1966 по 1970 годы Сергей Яковлев работал в Театре имени Ленинского комсомола, а с 1971 года – вновь в Театре-студии киноактёра.
Сергей Яковлев был востребован в кино, снялся в полусотне фильмов. Многим он запомнился в роли Устина Морозова в много серийном фильме «Тени исчезают в полдень».
Сергей Сергеевич был трижды женат. Отец четверых детей.
Кроме актёрской работы он занимался живописью и литературным творчеством, автор романа «Переворот», написанного в содружестве с третьей женой Натальей Юрковой.
Похоронен на Ваганьковском кладбище.