وعاش -رضي الله عنه- عابدا ومجاهدا، لا يتخلف عن غزوة ولا عن طاعة، وفي خلافة عمر -رضي الله عنه- ولاه إمارة البحرين، وكان عمر -رضي الله عنه- إذا ولى أحدا الخلافة راقب ماله، فإذا زاد ثراءه ساءله عنه وحاسبه ،وهذا ما حدث مع أبي هريرة، فقد ادخر مالا حلالا له، وعلم عمر بذلك فأرسل في طلبه، يقول أبو هريرة: قال لي عمر: (يا عدو الله، وعدو كتابه، أسرقت مال الله)...
قلت: (ما أنا بعدو لله ولا عدو لكتابه لكني عدو من عاداهما، ولا أنا من يسرق مال الله)... قالفمن أين اجتمعت لك عشرة ألاف؟)... قلتخيل لي تناسلت، وعطايا تلاحقت)... قال عمر: (فادفعها إلى بيت مال المسلمين)... ودفع أبو هريرة المال إلى عمر ثم رفع يديه إلى السماء وقال: (اللهم اغفر لأمير المؤمنين)...
وبعد حين دعا عمر أبا هريرة، وعرض عليه الولاية من جديد، فأباها واعتذر عنها، وعندما سأله عمر عن السبب قال: (حتى لا يشتم عرضي، ويؤخذ مالي، ويضرب ظهري)... ثم قال: (وأخاف أن أقضي بغير علم، وأقول بغير حلم)...