Актёр Малого театра (с 1923 г.). Народный артист СССР (1971), происходит из актёрской династии Бороздиных-Музиль-Рыжовых.
По мнению критиков, свои лучшие роли сыграл в пьесах А.Н. Островского:
Елеся ("Не было ни гроша, да вдруг алтын"),
Белогубов ("Доходное место"),
Андрей ("В чужом пиру похмелье"),
Лыняев ("Волки и овцы"),
Худобаев ("Светит да не греет").
Принимал участие в радиопостановках. Снимался в кино (с середины 1920-х годов). Сыграл роль Лазаря Кагановича в фильмах "Клятва" (1946), "Сталинградская битва" (1949), "Падение Берлина" (1949). Снялся также в фильмах: "Кутузов" (1943) - Волконский; "Зоя" (1944) - отец Зои; "Горе от ума" (1952) - Платон Михайлович Горич; "Братья Карамазовы" (1968) - Трофим Борисович; "Судьба резидента" (1970) - профессор из Германии; "Вишневый сад" (1983) - Борис Борисович Симеонов-Пищик; и др. Имеет государственные награды.
Скончался Н.И. Рыжов 12 мая 1986 года, похоронен в Москве на Новодевичьем кладбище (8 уч. 14 ряд), рядом с матерью, актрисой
В.Н. Рыжовой.