1964年12月，谢列平在赫鲁晓夫下台后很快就当选为苏共中央主席团委员，他同时还兼任国家监察委员会主席、苏联部长会议第一副主席和克格勃主席，手里握有很大的权力。不过，勃列日涅夫和勃列日涅夫很警惕他，担心他会像赫鲁晓夫那样弄权。虽然勃列日涅夫在治国上没什么大本事，但在政治斗争方面却非常老道。勃列日涅夫担心谢列平会在党和国家监察委员会里安插亲信，给自己的权力铺路。为了防止这一点发生，1965年12月，勃列日涅夫把谢列平从政府职务上调走了。没过多久，勃列日涅夫又把谢列平的亲信们都给调走了，削弱了他的影响力。 到了1967年，勃列日涅夫更是直接把谢列平从苏共中央书记的位子上撤了下来。虽然谢列平还担任工会中央理事会主席这个职务，但实际上他已经没有什么实权了。他的亲信们都被调离了岗位。一直到1975年4月，谢列平才被调到全苏职业技术教育委员会担任副主席。这个时候他已经和政治舞台完全绝缘了。一直到1984年，谢列平才正式退休。 退休后的谢列平日子过得并不宽裕。苏联解体之后，叶利钦只承认他是军队职务，不承认他的苏共身份。再加上他之前拒绝过克格勃大将军衔，所以他的退休待遇非常微薄，晚年过得非常凄凉。而相比之下，赫鲁晓夫虽然下台了，但待遇依然很高。所以说赫鲁晓夫当年对谢列平说的那句话“你的下场会比我更惨”，现在看来真的成了事实。命运真是让人感叹啊。