فلما انتهى إلى الكوفة فعل ما أمره به عمر، وأمر سعدا أن لا يغلق بابه عن الناس، ولا يجعل على بابه أحدا يمنع الناس عنه، فامتثل ذلك سعد، وعرض على محمد بن مسلمة شيئا من المال، فامتنع من قبوله ورجع إلى المدينة، واستمر سعد بعد ذلك في الكوفة ثلاث سنين ونصف، حتى عزله عنها عمر من غير عجز ولا خيانة.