Военачальник, генерал-лейтенант, член ВКП(б) с 1939 г. Участник Первой мировой войны с 1915 г. В Красной армии с 1918 г. Участник Гражданской войны. В 1919 г. участвовал в обороне Петрограда и в боях под Ямбургом против белой Северо-Западной армии генерала Н.Н. Юденича. Вёл борьбу с бандитизмом на Украине. После войны на командных должностях. Окончил в 1935 г. 2 курса Военной академии РККА им М.В. Фрунзе. В 1940 г. окончил курсы при Академии Генерального штаба РККА. В годы Великой Отечественной войны на командных должностях в войсках. Участвовал в Донбасско-Ростовской и Воронежско-Ворошиловградской оборонительной операции, в Барвенково-Лозовской наступательной операции.
В 1944 г. - заместитель командующего 4-й гвардейской армии 2-го Украинского фронта, участвовал в освобождении Правобережной Украины, в том же году - командир 28-го гвардейского стрелкового корпуса в 8-й гвардейской армии 1-го Белорусского фронта, командовал этим корпусом и после войны.
Участник Висло-Одерской операции. Герой Советского Союза (1945). С 1949 г. и до конца своих дней - командующий 3-й ударной армией в Группе советских оккупационных войск в Германии.
Скончался А.И. Рыжов 14 декабря 1950 года, похоронен в Москве на Новодевичьем кладбище (4 уч, 21 ряд), рядом с ним похоронена дочь.