Один из руководителей органов государственной безопасности СССР, генерал-полковник (1945), член ВКП(б) с 1928 г. С 1937 г. - ответственный организатор Отдела руководящих партийных органов (ОРПО) ЦК ВКП(б). В 1938 г. перешёл в аппарат НКВД, был особоуполномоченным НКВД СССР.
С 1941 г. 1-й заместитель наркома внутренних дел СССР, член Совета по эвакуации при СНК СССР, член Военного совета Резервного фронта, командовал 4-й саперной армией, обеспечивал охрану Советских делегаций на Ялтинской и Потсдамской конференциях. 1952–1956 г. - член ЦК КПСС. С марта 1953 г. по март 1956 г. - министр внутренних дел СССР, ему приписывают инициативу создания КГБ. В январе 1956 г. по личному распоряжению
Н.С. Хрущева отстранён от должности, работал заместителем министра строительства электростанций СССР. С 1957 г. на пенсии.
Ушёл из жизни 6 июля 1977 года - был найден мёртвым
на железнодорожных путях около ж.д. станции "Правда", возможно, попал под поезд. Похоронен в Москве на Новодевичьем кладбище (3 уч. 62 ряд), рядом с родителями - Яковлевыми Никифором Сергеевичем (1881-1954) и
Любовью Игнатьевной (1885-1960). Здесь же похоронены его жена
Таисия Дмитриевна (1910-1984) и дети
Сироткина Ирина Сергеевна (1935-2011) и
Круглов Валерий Сергеевич (1937-2009).
