Z Ukrajiny Koněv postupoval dále na Slovensko a do Polska. Od května 1944 velel karpatsko-dukelské operaci, která měla pomoci Slovenskému národnímu povstání. V lednu 1945 pak zahájil velkou viselsko-oderskou operaci, během které Sověti vytlačili Němce z Polska. Její součástí bylo také osvobození koncentračního tábora Osvětim.
