Осенью 1966 года ЦК КПСС предложил создать у стен Кремля мемориал — Могилу Неизвестного Солдата — в память о героях, павших в боях Великой отечественной войны. Поводом для такой идеи стало 25-летие разгрома немецких войск под Москвой.

Останки неизвестного бойца 2 декабря эксгумировали из братской могилы у бывшей железнодорожной станции Крюково. Именно здесь в конце 1941 года удалось остановить наступление пехотных и танковых соединений вермахта. 

3 декабря 1966 года прах в гробу, покрытом георгиевской лентой, доставили в столицу. Процессия, состоявшая из почетного караула и группы ветеранов войны, проделала путь от Ленинградского шоссе до Манежной площади.

Затем состоялся траурный митинг. На нем с речью выступил маршал Советского Союза Константин Рокоссовский, который командовал 16-й армией в боях за Крюково. После митинга гроб перенесли в Александровский сад, где под залп артиллерийского салюта опустили в могилу. 

Спустя почти полгода, 8 мая 1967 года, на месте захоронения официально открылся сам мемориал — Могила Неизвестного солдата. Памятник проектировали архитекторы Дмитрий Бурдин, Владимир Климов, Юрий Рабаев и скульптор Николай Томский. 

Надпись на мемориале придумывал писатель Сергей Смирнов, а также поэты Константин Симонов, Сергей Михалков и Сергей Наровчатов. По воспоминаниями Сергея Смирнова, в итоге выбрали вариант, предложенный Сергеем Михалковым: "Имя твое неизвестно, подвиг твой бессмертен".

Перед надгробной плитой, в квадратном углублении, расположилась бронзовая пятиконечная звезда. Вечный огонь в ней торжественно зажег генеральный секретарь ЦК КПСС Леонид Брежнев. Этот огонь доставили в Москву из Ленинграда — с Марсова поля, где располагается мемориал жертвам Февральской и Октябрьской революций.

А в декабре 1997 году у Могилы Неизвестного Солдата появился постоянный пост почетного караула. У мемориала стали дежурить военнослужащие Президентского полка, которые раньше несли службу у Мавзолея Ленина.