История Haileybury College начинается с 1806 года. Это был Колледж Восточной Индии, созданный Восточно-Индийской компанией. Изначально школа базировалась в Хертфордском замке, но на тот момент для постройки здания колледжа уже был выделен отдельный участок земли. Постройка зданий школы была завершена в 1809 году, и территория школы представляла из себя четырехугольник, который прозвали Quad. На сегодняшний день это самый крупный академический четырехугольный дворик в Соединенном Королевстве и один из крупнейших в мире.
В январе 1858 года из-за Индийского Восстания, которое случилось в 1857 году, учебное заведение было закрыто. Однако, уже в 1862 году на его месте открылась независимая государственная школа. В 1877 году построили купол часовни, и была открыта мемориальная столовая, чтобы отдать честь погибшим в Первой Мировой войне. Идея принадлежала тогда еще будущим королю Георгу IV и королеве Елизавете. В столовой находится один из крупнейших неподдерживаемых куполов в Европе. В 1942 году Имперский Колледж Службы и Хейлибери объединились и стали ныне известным Haileybury College.