格雷兹洛夫于1950年12月15日生于俄罗斯远东城市符拉迪沃斯托克（海参崴），其父是空军飞行员，母亲是中学教师。1954年，格雷兹洛夫一家迁到俄历史名城圣彼得堡。毕业于列宁格勒的物理－数学中学，荣获金质奖章。1973年毕业于列宁格勒（现称圣彼得堡）邦奇－布鲁耶维奇电子技术通讯学院，通过副博士论文答辩，成为无线电工程师。大学毕业后，格雷兹洛夫进入圣彼得堡一家电子仪器厂工作，从事宇航通讯系统的研究工作。1977年至1996年他在列宁格勒电子设备生产联合体工作，曾任总设计师和主要部门负责人，并积极参加工会工作。1996年至1999年他在高等教育领域工作。

2001年3月格雷兹洛夫获总统普京委任为内务部长，任内他以打击恐怖主义和贪污腐败为首要任务。团结运动等政党合并成中间派亲普京的统一俄罗斯党后，格雷兹洛夫在2002年11月成为该党党首。2003年12月他当选国家杜马主席。