罗伯特·奥本海默生于年4月22日，出生在纽约市一个富裕的犹太家庭。他的父亲朱利叶斯·奥本海默是一个从德国移民至美国的纺织品进口商，而他的母亲艾拉·弗里德曼则是一位画家。父亲最初来到美国时一无所有，但后来在一家纺织公司找到工作，并迅速晋升为总裁。全家并不遵循宗教仪式，属于阿什肯纳兹犹太人。
阿什肯纳兹犹太人（意第绪语：????????），指的是源于中世纪德国莱茵兰一带的犹太人后裔（阿什肯纳兹在近代指德国）。
一家人住在曼哈顿西88街附近的高档别墅区内的公寓，他们还收藏了一些名画，像是巴勃罗·毕加索、爱德华·维亚尔和文森·梵高的作品。奥本海默还有一个弟弟弗兰克，后来也成为了一名物理学家。
奥本海默最开始就读阿尔坤预备学校，后来在年转入菲尔德斯顿文化伦理学院。这所学校是由德育运动创始人菲利克斯·阿德勒建立的，奥本海默的父亲是该协会的成员，并曾在协会担任董事。
菲尔德斯顿的理念是：使那些有能力改变环境的学生能更好地贯彻道德理念有。哲学家和人文学家菲利克斯?阿德勒是学校的创始人。为了实现他的愿景，我们需要贯彻以下理念：道德学习、学术卓越和教育进步。学校通、过激发学生达到他们的最大潜能达，通过人文、自然科学、艺术和体育学科来培养身体、智力、精神等方面的发展，从而追求学术卓越。学生成为主动的学习者，与尽职的教职工积极交流，并融入浓厚的学术、纪律和创造力风气的学习环境中。通过基于进步教育的课程，学生被培养成为独立的思考者，他们学会问自己的问题并自己寻求答案解决，这是加深理解的关键。
奥本海默在学业上非常出色，除了喜欢英国和法国文学，还对矿物学有浓厚兴趣。他学习非常快，在一年内就完成了三四年级的学习，并跳过了八年级的一半。在最后一年，他开始对化学产生兴趣。奥本海默的家人在夏天时常去欧洲度假，但他因为患上了溃疡性结肠炎而不得不休学一年，直到18岁才正式进入哈佛学院。在疗养期间，他的父亲让英文老师赫伯特·史密斯带他去了新墨西哥州，奥本海默在那里爱上了骑马和美国西南部的风土人情。
溃疡性结肠炎是一种病因尚不十分清楚的结肠和直肠慢性非特异性炎症性疾病，病变局限于大肠黏膜及黏膜下层。病变多位于乙状结肠和直肠，也可延伸至降结肠，甚至整个结肠。病程漫长，常反复发作。本病见于任何年龄，但20～30岁最多见。
在哈佛大学期间，奥本海默主修化学，但由于入学推迟，他每学期修六门课程，还要学习历史、文学、哲学和数学。由于学习成绩优秀，他被允许不必修基础物理课程，直接学习高级物理课程。在学习热力学课程时，他被实验物理学所吸引。最终，他在入学三年后以最高荣誉毕业，并受邀加入了本科荣誉学会。