15世纪末，由欧洲通往美洲的大西洋航道被哥伦布开辟，欧洲人纷纷远涉重洋来到美洲。17世纪初，首批英国移民到达北美，在那里开拓自己的“伊甸园”——新英格兰。移民中有100多名清教徒，曾在牛津和剑桥大学受过古典式的高等教育，为了让他们的子孙后代在新的家园也能够受到这种教育，他们于1636年在马萨诸塞州的查尔斯河畔建立了美国历史上第一所学府——哈佛学院。

1869—1909年，查尔斯·威廉·艾略特（Charles William Eliot）担任校长，从根本上使哈佛蜕变为现代美国的研究型大学。查尔斯·艾略特在任校长期间，将课程中固有的基督文化成分删去，让学生能自愿及选择性地去学习相关的宗教文化；他使法学院、医学院获得了新的活力，并且新建了商业管理学院、牙医学院、文理学院，注册学生从1000人上升到3000人，教学人员从49名增加到278名，学校基金从2300万美元增加到2.25亿美元。Eliot的改革措施包括选修课程，小班授课，以及入学考试，此一“哈佛模式”影响了美国国家的高等和中等教育政策。此外，Eliot还负责出版了著名的“哈佛经典”，从多个学科收集“伟大的书”。在1926年逝世后，他的名字已和“哈佛”共同成为美国高等教育的同义词。

20世纪，哈佛的地位及声誉，随着所获捐助及教授的人数上升而迅速提升，申请入学的学生人数也因课程数目的增大及校园的扩建而增加，其在1900年成为美国大学协会的创始成员。于1879年成立的拉德克利夫学院与哈佛结盟为姊妹学校，亦成为了美国当时最著名的女子学校；后来两者合并，拉德克利夫成为了哈佛大学的一部分。

这里走出了8位美利坚合众国总统，上百位诺贝尔获得者曾在此工作、学习，其在文学、医学、法学、商学等多个领域拥有崇高的学术地位及广泛的影响力，被公认为是当今世界最顶尖的高等教育机构之一。

截至2014年，哈佛大学下设13个学院，分别为哈佛大学文理学院、哈佛商学院、哈佛大学设计学院、牙科医学、哈佛大学神学院、教育学院、哈佛法学院、哈佛医学院、哈佛大学公共卫生学院、哈佛大学肯尼迪政治学院、工程与应用科学院、哈佛大学研究生院、哈佛学院，另设有拉德克利夫高等研究学院，总共在46个本科专业、134个研究生专业招生；其中本科生教育主体由哈佛学院承担。

截至2014年，哈佛大学在校全体教员约2400人，其中含有多位诺贝尔奖、普利策、普利兹克奖、菲尔兹奖获得者；学校拥有美国国家科学院（NAS)、美国国家工程院（NAE）、美国国家医学院（IOM）三院院士300余人，其中国家科学院院士及国家医学院院士居于全美首位。