1941年6月22日德军入侵苏联，苏军对此准备不足，战争初期几乎一直在溃败。朱可夫签署了要求苏联红军立即组织反击的命令，但并没有取得什么效果。此后德军长驱直入，把进攻的重点放到了基辅。朱可夫经过判断，提出应该撤出基辅，避免被德军合围而引起更大损失。他的这一观点和直率的性格使他与斯大林发生了冲突，被降为预备军司令员。虽然受到降级，但朱可夫在预备军司令员任上仍组织了叶利尼亚反击战，为稳定当地的战线做出了重大贡献。
9月列宁格勒告急，朱可夫被召回莫斯科，被任命为大本营代表，前往列宁格勒。此后，朱可夫开始往返于各地协调指挥作战。朱可夫到达列宁格勒之后，通过自己坚强的意志带动下属，合理利用了有效的兵力进行重点防御与反击，从而稳定住了防线。10月德军大举进攻莫斯科，朱可夫被调回莫斯科代替铁木辛哥组织莫斯科保卫战。12月保卫战结束，德军退出莫斯科周边地区。
在整个卫国战争期间，朱可夫曾以统帅部代表的名义深入前线组织，协调各方面军的作战行动，就地指挥战略性战役。他不管深入到哪里，都备受基层方面军领导和全体指战员的热烈欢迎。这期间敌人的情报机关一直在密切关注他的行踪，他们都把他看作“克星”，一提到“朱可夫”的名字就感到心惊胆战，恐惧万分。在战争中，朱可夫作为一名杰出的总参谋长，他临危不惧，头脑冷静，思维敏捷，洞察深刻，判断情况准确，成为苏军统帅最得力的助手。哪里告急，斯大林就把他派往哪里，因而有“消防队长”之称。他几度临危受命，几度扭转败局，因而不仅受到最高统帅的信任，而且也受到了全体指战员的爱戴。在人民心目中，朱可夫逐渐成为胜利的象征。