Несмотря на образ стального организатора и авантюриста, по воспоминаниям близких, Гастев был очень сентиментальным, «домашним» человеком. Со второй женой Софьей Гринблат он познакомился в Петрограде, работая в профсоюзе металлистов. Его четверо сыновей — Владимир (от первого брака с революционеркой Анной Васильевой), Петр, Алексей, Юрий (от второго брака) — герои многочисленных семейных фотографий. Параллельно с беспрерывной интенсивной работой в ЦИТе, Комитете по стандартизации при СТО, командировками и конференциями, написанием статей и методичек была и вторая реальность — поездки на дачу и к морю, игры с детьми, бесконечные истории про детство в Суздале. Все это было оборвано 8 сентября 1938 года, когда за Гастевым пришли в квартиру, которая находилась в доме во дворе ЦИТа на Петровке. Сыновья — Петр и Алексей — пытались остановить следователей, в то время как Гастев бросился к окну. Несмотря на огромный опыт бегства от арестов и из ссылок, на этот раз он не смог скрыться.
Репрессированы были все члены семьи, кроме погибшего под Курском в 1943 году Петра. Анна Васильева была арестована в Ленинграде за пару дней до ареста Гастева, через две недели после его расстрела — 28 апреля 1939 года — была арестована Софья Гринблат-Гастева, 2 ноября 1941 года арестовали сына Алексея, 23 мая 1943 года — Владимира, в ночь на 25 сентября 1946 года — младшего сына Юрия. После освобождения Алексей Гастев-младший стал искусствоведом, кинодраматургом, Юрий — философом, математиком, известным диссидентом, перед эмиграцией собравшим по всей стране остатки архива отца.