أسس النبي المسجد في ربيع الأول من العام الأول من هجرته ، وكان طوله سبعينذراعاً، وعرضه ستين ذراعاً، أي ما يقارب 35 متراً طولاً، و30 عرضاً. جعل أساسه من الحجارة والدار من اللَّبِن وهو الطوب الذي لم يحرق بالنار، وكان النبي يبني معهم اللَّبِن والحجارة، وجعل له ثلاثة أبواب، وسقفه من الجريد.
روى البخاري قصة بنائه (7/266-فتح الباري) في حديث طويل عن أنس بن مالك رضي الله عنه وفيه أن النبي : ((أمر ببناء المسجد فأرسل إلى ملأ من بني النجار فجاؤوا، فقال: يا بني النجار ثامِنوني بحائطكم هذا، فقالوا: لا والله لا نطلب ثمنه إلا إلى الله، قال: فكان فيه ما أقول لكم، كانت فيه قبور المشركين، وكانت فيه خِرَب، وكان فيه نخل، فأمر رسول الله بقبور المشركين فنبشت، وبالخرب فسويت، وبالنخل فقطع، قال: فصفوا النخل قبلة المسجد وجعلوا عضادتيه (خشبتان مثبتتان على جانبي الباب) حجارة، قال: جعلوا ينقلون ذاك الصخر وهم يرتجزون، ورسول الله معهم يقولون: اللهم إنه لا خير إلا خير الآخرة فانصر الأنصار والمهاجرة ))
ولما ازدحم المسجد وكثر المسلمون قام النبي بتوسيعه، وذلك في السنة السابعة من الهجرة بعد عودته من خيبر فزاد في طوله عشرين ذراعاً وفي عرضه كذلك، وكان عثمان بن عفان رضي الله عنه هو الذي اشترى هذه البقعة التي أضافها النبي كما في سنن الترمذي (5/3703).
ومسجد النبي هو المسجد الذي أسس على التقوى كما في صحيح مسلم (رقم 1398). وفيه قال النبي : ((صلاة في مسجدي هذا أفضل من ألف صلاة فيما سواه إلا المسجد الحرام)) متفق عليه (فتح الباري 3/63 برقم 1190 وصحيح مسلم رقم 1394). وفيه أيضاً قال النبي : ((من غدا إلى المسجد لا يريد إلا أن يتعلم خيراً أو يعلمه كان له كأجر حاج تاماً حجته)) رواه الطبراني في المعجم الكبير (8/111) وأبو نعيم في حلية الأولياء (6/97) وهو حديث صحيح.