لكن هذا العرض كان حلما قصيرا. وفي غضون أسابيع خضع لعملية قلب مفتوح، وتعثرت الحملة. انسحب من السباق في أكتوبر 2003، وبعد شهر، قال إنه لن يسعى لإعادة انتخابه لمجلس الشيوخ في عام 2004. وتقاعد عندما انتهت فترة ولايته في يناير 2005.
وُلد دانييل روبرت جراهام، الذي لم يستخدم اسمه مطلقًا، في 9 نوفمبر 1936 في كورال جابلز بولاية فلوريدا، لأبوين إرنست آر جراهام، المعروف باسم كاب، وهيلدا (سيمونز) جراهام. من خلال زواج سابق من فلورنس موريس، أنجب إرنست جراهام ثلاثة أطفال، ماري وفيليب وويليام جراهام، وهم أشقاء روبرت غير الأشقاء. كان فيل جراهام وزوجته كاثرين (ماير) جراهام، اللذان تمتلك عائلتهما صحيفة واشنطن بوست، مالكين مشاركين للصحيفة، وأصبح أيضًا ناشرًا.
إرنست جراهام، مزارع ألبان ومهندس تعدين ومطور عقارات وسياسي ديمقراطي، كان عضوًا في مجلس الشيوخ عن ولاية فلوريدا من عام 1937 إلى عام 1944. وكانت زوجته الثانية معلمة. تشير بعض دراسات الأنساب إلى أن عائلة جراهام تشترك في أسلاف بعيدين مشتركين مع الرؤساء جيمي كارتر وريتشارد إم نيكسون ووارن جي هاردينج.
في مدرسة ميامي الثانوية العليا، حصل روبرت جراهام على جائزة سيجما تشي، وهو أعلى تكريم في المدرسة للشخصية والقيادة والمنح الدراسية والخدمة؛ انتخب رئيسا للهيئة الطلابية في سنته الأخيرة؛ وتخرج عام 1955. وفي جامعة فلوريدا، تم تجنيده في جمعية الشرف فاي بيتا كابا وحصل على درجة البكالوريوس في العلوم السياسية عام 1959. وحصل على شهادة من كلية الحقوق بجامعة هارفارد عام 1962.
وفي عام 1959، تزوج السيد غراهام من أديل خوري. كان لديهم أربع بنات: جوين وسيسي وسوزان وكيندال. كانت جوين جراهام ممثلة للولايات المتحدة عن فلوريدا من عام 2015 إلى عام 2017، وترشحت دون جدوى لمنصب حاكم فلوريدا في عام 2017 وأصبحت مساعدة وزير التعليم في إدارة بايدن.