Zhruba od roku 1963 byl Koněv v důchodu mimo službu. Historici se proto přou o jeho možné úloze během sovětské okupace ČSSR v srpnu 1968. V roce 1970 ho na Pražském hradě přijal prezident republiky Ludvík Svoboda, jeho přítel a spolubojovník od Dukly. Koněv byl v Praze na dovolené.
