За неполные три года прошел должности командира взвода, батареи, начальника штаба артиллерийского дивизиона и первого помощника начальника штаба артиллерийского полка.

В 1933 году поступил в Военную академию механизации и моторизации РККА имени И. В. Сталина (с 1943 года — Военная ордена Ленина академия бронетанковых и механизированных войск Красной Армии имени И. В. Сталина), которую окончил в 1937 году. Командовал отдельным учебным тяжелым танковым батальоном. Штеменко обладал исключительной, феноменальной, нечеловеческой памятью и выдающимися аналитическими способностями, что послужило основанием для его зачисления уже в следующем, 1938 году в Военную академию Генерального штаба, которую подполковник Штеменко закончил в конце 1940 года.

При распределении просил назначить на любую командную должность в любом военном округе, но был направлен в Оперативное управление Генерального штаба Красной Армии. Тут он встретил начало войны.

Осенью 1941 года получил звание полковника. С июня 1942 года — начальник 4-го направления Оперативного управления Генштаба. 23 ноября 1942 года, в день, когда подвижные соединения Юго-Западного и Сталинградского фронтов замкнули кольцо окружения вокруг германских войск в районе Сталинграда, полковник Штеменко был произведен в генерал-майоры.

4 апреля 1943 года Штеменко получил должность начальника Оперативного управления Генштаба и звание генерал-лейтенанта. С этого момента он лично, под контролем Сталина и Василевского, руководил разработкой всех стратегических планов Красной Армии.

Во время войны Сталин установил не просто строгий, а поистине суровый порядок работы Генерального штаба. В соответствии со сталинским расписанием высшие руководители Генштаба имели право спать не более четырех-пяти часов в сутки, начальник Оперативного управления генерал-лейтенант Штеменко — только во второй половине дня, с 14 до 18 часов, а если на фронтах спокойно — то до 19 часов.

В 1944 году в составе вооруженных сил Советского Союза было 72 общевойсковые армии, 6 гвардейских танковых армий, 174 стрелковых, 26 танковых, 14 механизированных, 10 артиллерийских, 9 воздушно-десантных и 8 кавалерийских корпусов, 516 стрелковых (не считая мотострелковых, воздушно-десантных и горнострелковых), 105 артиллерийских и минометных и 26 кавалерийских дивизий, а также 44 укрепленных района.

Кроме того — 18 воздушных армий, 7 армий ПВО, флоты и флотилии, военные округа, 10 управлений оборонительного строительства, в которые были преобразованы 10 саперных армий, сотни авиационных корпусов и дивизий. Штеменко помнил имена всех командующих и командиров до дивизии включительно, знал состояние и положение каждого фронта и флота, каждой армии и флотилии, каждого корпуса, каждой дивизии.