Алексей Алексеевич принадлежал к роду Тучковых, известному с XV в. Отец Алексей Васильевич служил в инженерных и артиллерийских войсках, был сподвижником Суворова, следил за военными укреплениями и крепостями на границах, строил мосты, воевал. У Алексея Васильевича было 5 сыновей, и все они стали генералами и героями многочисленных войн. Алексей Алексеевич был старшим сыном. Он воевал со Швецией и в Европе, но ушёл в отставку из-за конфликта с графом Аракчеевым. После отставки А.А. Тучкова Павел I выслал его в Москву, где он занялся своими имениями и семьёй, а также более 10 лет посвятил должности предводителя Звенигородского дворянства. Был известен как коллекционер предметов искусства, ратовал за отмену крепостного права. А.А. Тучков лично хлопотал за крепостного художника перед его хозяином графом Морковым, уговаривая дать известному московскому живописцу вольную. Цель была достигнута в 1823 г., когда Тропинин получил свободу в качестве подарка на Пасху.