آیت الله العظمی سید محمد روحانی در شهر مقدس قم در 22 شعبان المعظم سال 1338 هجری قمری، برابر با 21 اردیبهشت 1299هجری شمسی / برابر با 1920 میلادی، در خانواده ای اصیل و با سابقه در علم و زعامت دینی دیده به جهان گشودند. پدر بزرگوارشان، مرحوم مغفور آیت الله سید محمود روحانی در آن زمان از مشاهیر علمای رده اول بودند که در موضع گیریهای مهم و اقدامات مؤثر در شرایطی که در آن زمان حاکم بر ایران و جوّ مذهبیش بود دخالتی بایسته داشتند آن گونه که این مطلب یکی از امتیازات چشمگیر آن مرحوم بشمار می آمد. والد ماجد پدر برای تقویت ارکان آن گروهی از علما را که خود یکی از آنها بودند ، گرد آورده و برای دیداری از مرحوم آیت الله العظمی حائری یزدی قدس سره راهی شهر اراک گشته تا از ایشان مصرانه بخواهند که به قم کوچ نموده و در این شهر رحل اقامت بیفکنند که این اقدام مؤثر واقع شد و مرحوم آیت الله العظمی آقای حائری قدس سره به قم آمدند و به تشکیل حوزه درسی اقدام کرده و با کمک و مساعدت مرحوم مغفور آیت الله حاج سید محمود روحانی به تنظیم و تقویت حوزه علمیه در قم دست یافته و بدین ترتیب این اقدام نخستین گام در راه تقویت ارکان حوزه علمیه و محکم کردن پایه های آن گردید.
همچنین جد بزرگوار معظم له ، مرحوم آیت الله العظمی حاج سید صادق روحانی طاب ثراه از مراجع بزرگ و رهبران دینی مؤثر در عصر خود در شهر قم بودند.
حضرت آیت الله العظمی آقای حاج سید محمد حسینی روحانی قدس سره نخستین مراحل تحصیلی خود را که مشتمل برعلم صرف ،علم نحو، علم بلاغت و منطق است را با مقدارمعتنابهی از سطح را در زادگاه خود در نزد اساتید ومتخصصین در فن گذراندند و از همان زمان به سبب هوش سرشار و اهتمام به تحصیل اعجاب اساتید خود را بر انگیخت. البته این خصوصیات نتیجه بذل توجهی بود که مرحوم والد معظم له از کودکی به ایشان داشته و لحظه ای از تربیت دینی و تمرین مکارم اخلاقی و آموزش سلوک دینی مناسب به معظم له باز نمی ایستاد. گو اینکه خداوند به والد بزرگوار معظم له  نموده بود که به فرزند شایسته ایشان در آینده مسؤولیتی بزرگ متوجه میگردد.لذا تمامی توجه خود را در تربیت و آموزش و فراهم آوردن مقدمات معظم له معطوف نموده بود.
معظم له در سال 1355 هجری قمری به عراق سفر کرده و در  کربلای معلی به مدت یکسال رحل اقامت افکنده و در سطوح از بزرگان اساتید کربلا همچون علامه بزرگوار ، آیت الله العظمی سید محمد هادی میلانی قدس سره بهره بردند.
معظم له پس از به پایان بردن دروس سطح به نجف اشرف سفر کردند که این مسافرت در سال 1357 هجری قمری صورت گرفت. معظم له در نجف اشرف از درس بزرگان حوزه و محققین عالیمقدار آن عصر همچون مرحوم آیت الله العظمی حاج شیخ محمد حسین غروی اصفهانی (مشهور به کمپانی )، آیت الله حاج شیخ محمد علی کاظمینی , آیت الله حاج شیخ محمدرضا آل یاسین ومحقق گرانقدر آیت الله حاج شیخ محمد کاظم شیرازی خوشه چینی نمودند.
در فاصله رحلت اساتید سابق الذکر و آزمودن ذاتی خود از ملکه اجتهاد در حالی که در فقه و اصول به مرتبه بلندی دست یافته بود چندی در درس فقید راحل، حضرت ایت الله العظمی حاج سید ابوالقاسم خوئی حاضر گردیده که استاد هم به این خصوصیت معترف بود.
آیت الله العظمی روحانی قدس سره زمانی که به فراگیری دروس خارج فقه و اصول اشتغال داشتند به تعلیم دروس سطوح عالیه پرداخته و در ضمن در این برهه از تاریخ به بازگو کردن دروس اساتیدشان – در زمینه دروس خارج فقه و اصول-برای برخی از دوستانشان می پرداختند و برای آنانی که درس استاد آنها را کفایت نمی نمود دیگر بار سخنان استاد را تقریر می فرمودند.
در حالی که هنوز معظم له به چهل سالگی نرسیده بودند برخی ا ز طلبه های فاضل و علمای برجسته از ایشان درخواست نمودند که در دروس خارج فقه و اصول حوزه درسی تشکیل داده و به بررسی و القای نظرات خود در این دو زمینه اقدام نمایند.
و شروع تدریس دروس خارج در حالی بود که بزرگان از اساتید حوزه و پهلوانان میدان تحقیق و تدریس و در طلیعه آنان آیت الله العظمی حاج سید ابوالقاسم خوئی قدس سره بر این امر معترف بودند که اگر به معظم له مجالی داده شود در زمره نخستین قهرمانان این میدان می باشند. از این رو ، طلاب فاضل را تشخیص می نمودند تا با حضور در حوزه درسی معظم له از علوم ایشان بهره برداری لازم را بنمایند. فضلا هم نیز از مجلس بحث و تدریس معظم له بهره برده از دهش علمی و فضلی معظم له تشنگی خود را بر طرف می ساختند. از جمله کسانی که در حوزه درسی معظم له حاضر گردید می توان علامه شهید آیت الله سید عبدالصاحب حکیم فرزند برومند آیت الله العظمی سید محسن حکیم قدس سره را نام برد. آن مرحوم یکدوره کامل مباحث اصول و برخی از ابواب فقهی همچون خمس، صوم و حج را حاضر گردید و درس استاد خود را کاملاً تقریر نمود (که اخیراً اصول آن در هفت جلد بنام منتقی الاصول و کتاب حج و مکاسب ایشان به چاپ رسید تا اساتید و مدرسان حوزه را فایدتی دو چندان رساند).
حضور ایشان در نجف، با ورود آیت الله خمینی به عراق، مقارن شد. ایشان از بدو ورود آیت الله خمینی بعنوان یکی از برجسته ترین مخالفان طرح واندیشه های اعتقادی وسیاسی آیت الله خمینی شناخته می شدند. عمدۀ مخالفتهای ایشان حول دو محور، اندیشه های فلسفی وعرفانی منحرف آیت الله خمینی، واندیشۀ سیاسی ولایت مطلقۀ فقیه وی، که عملاً به ایجاد شکاف در بزرگترین حوزۀ علمیۀ جهان تشیع منجر شده بود، تمرکز داشت. ایشان از یک سو، آیت الله خمینی را وارد کنندۀ نوعی از اندیشه های فلسفی منحرف به حوزۀ علمیۀ نجف می دانست واز سوی دیگر اساساً با مبانی اعتقادی نظریۀ ولایت فقیه وقائل شدن مقام وشأن وجایگاه واختیارات امام معصوم برای یک مجتهد جایز الخطا، مخالف بود. همین دغدغه ها بود که ایشان را بر آن می داشت که در اندازۀ توان وقدرت خود، خطر آیت الله خمینی واندیشه های وی را به مناسبتهای مختلف، به بزرگان وفضلای حوزه وطلاب گوشزد نماید. ردپای این مخالفتها وتلاشهای معظم له ونیز ثمره ونتایج آن با مطالعۀ خاطرات بر جای مانده از برخی از نزدیکترین یاران آیت الله خمینی، قابل پیگیری ومشاهده است. سید عباس خاتم یزدی – که از اعضای اصلی حلقه نزدیکان و شاگردان مهم آیت الله خمینی در نجف بود – از مرحوم آیت الله سید محمد روحانی قدس سره به عنوان شاخص ترین کسانی یاد می کند که تلاش های او برای کاهش تعداد طلاب شرکت کننده در درس آیت الله خمینی مؤثر واقع شد.( خاطرات آیت الله خاتم یزدی، ص ۸۲)
هواداران آیت الله خمینی در اقدامامی ناجوانمردانه به جعل سند علیه مرحوم ایت الله سید محمد روحانی – که از برجسته ترین شاگردان مرحوم آیت الله العظمی خویی و از علمای برجسته نجف بود – دست زندند تا ایشان را وابسته به رژیم پهلوی پلهوی جلوه دهند.(نهضت امام خمینی، نوشته سید حمید روحانی، ج ۳، ۹۲۱ و۹۲۲، روحانی در این کتاب تصریح کرده که آیت الله سید محمد روحانی هیچ وابستگی به دستگاه پهلوی نداشت و اتفاقاً اسنادی دالّ بر عدم ارتباط وی با حکومت پهلوی وجود داشته است.)
معظم له بر اثر عواملی سیاسی از حوزه علمیه نجف اشرف به حوزه علمیه قم کوچیدند و مدت بیست سال به افاضه علمی پرداختند وشاگردانی چند تحویل حوزات علمیه و جامعه شیعه دادند.
انقلاب 57 وتأسیس نظام ولایت مطلقۀ فقیه، فصلی دیگر از رویارویی میان آیت الله العظمی سید  محمد روحانی وآیت الله خمینی را گشود.این بار محور اعتراضات آیت الله العظمی، حول زندان وشکنجه واعدامهای بی حد وحصر ونیز تحمیل ولایت مطلقۀ فقیه بر قانون اساسی متمرکز بود. این اختلافات با تعیین آیت الله العظمی منتظری بعنوان قائم مقام رهبری واعتراض صریح وروشن معظم له، به اوج خود رسید. سرانجام این اعتراضها در نهایت به اتهام ایشان به مخالفت با ولایت فقیه وحصر وخانه نشینی ایشان منتهی گردید.
ایشان سرانجام در پگاه روز جمعه 19 ربیع الاول 1418 هجری قمری مصادف با 3 مرداد ماه 1376 شمسی به دار باقی شتافتند. درگذشت ایشان نیز مانند دوران زندگی شان، خالی از کینه توزیهای نظام ولایت مطلقۀ فقیه نبود وبا توهین به جسد ایشان ودر نهایت  دفن درمنزل، همراه گشت.