پدرِ مقام معظم رهبری، شانزدهم آذر ۱۲۷۴ در نجف اشرف به دنیا آمدند. پدرِ ایشان، حاج سید حسین خامنه‌ای که برای مدتی به نجف مهاجرت کرده بودند، در زمان کودکی سید جواد به تبریز بازمی‌گردند.
حاج سيد جواد، تحصیلات دینی خود را در شهر تبریز و در جوار پدر بزرگوارشان آغاز می‌کنند. چند سال بعد از فوت پدرشان، برای زیارت، به مشهد که می‌روند، آنجا به فضای علمی و طلبگی مشهد، علاقه‌مند می‌شوند. نُه ماه در مشهد می‌مانند. بعد به تبریز بازمی‌گردند تا برای اقامت دائمی در مشهد از مادرشان کسب اجازه کنند. به تبریز که می‌رسند، می‌بینند مادرشان فوت کرده است.
ایشان، یک سال بعد از فوت مادر، همراه همسر خود به مشهد رفته و در آنجا سکونت می‌کنند. در مشهد، دروس طلبگی خود را ادامه می‌دهند. بعد، در سن سی‌ودوسالگی به نجف می‌روند و تا سال ۱۳۵۱ قمری، آنجا می‌مانند. در این مدت، از درس میرزای نائینی و سید ابوالحسن اصفهانی و محمدحسین غروی اصفهانی(کمپانی) و آقا ضیاء عراقی بهره می‌برند و از همۀ این بزرگان، اجازۀ اجتهاد می‌گیرند. سپس به مشهد بازگشته و مشغول تدریس می‌شوند.
آیت‌الله سید جواد خامنه‌ای در مشهد، علاوه بر تدریس، در دو مسجد، امام‌جماعت بودند؛ صبح‌ها در مسجد گوهرشاد نماز می‌خواندند و ظهرها و شب‌ها در مسجد صدیقی‌ها. برنامۀ حاج سید جواد آقا، تا سال‌های متمادی این‌چنین بود که هر روز پیش از نماز صبح، به حرم مطهر امام رضا مشرف شوند و پس از زیارت، برای اقامۀ نماز صبح، به مسجد گوهرشاد بروند.
ایشان از نظر سیاسی همچون بسیاری از علما، نسبت به دستگاه پهلوی، بغض و کینه داشتند. و با وجودِ دعوت‌های عمومی و خصوصی زیادی که از ایشان می‌شد، هرگز در هیچ جلسه‌ای شرکت نکرد. سال ۶۱، حضرت آقا در مصاحبه‌ای با مرکز اسناد انقلاب اسلامی، دربارۀ پدرشان می‌فرمایند:
معتقد بود که اینها طاغوتند، اینها بدند، اینها ظالمند و به اینها به‌هیچ‌وجه نباید نزدیک شد. پای این حرف ایشان ایستاده بود. هرگز پول از آن دستگاه نگرفت. می‌‌دانید آن دستگاه‌ها گاهی پول‌هایی برای علما می‌فرستادند. شاید بتوانم بگویم تنها کسی‌که این پول را نگرفت یا جزو معدود کسانی‌که نگرفتند پدر من بود. بااینکه وضع زندگی‌اش هم خوب نبود و در عُسرت زندگی می‌کرد، هیچ‌وقت به اینها نزدیک نشد. این جزو به‌اصطلاح آن امتیازات ایشان هست که ما همیشه در ذهنمان، این، با یک عظمتی تلقی شده.
سرانجام، حاج سیدجواد خامنه‌ای در ۱۴ تیرماه ۶۵ دارفانی را وداع گفتند و در رواق توحیدخانه حرم مطهر امام رئوف به خاک سپرده شدند.