Вообще вся история острова и замка напоминает хорошую, добротную голливудскую сказку про Осаму Бин Ладена и 11сентября о бедном эммигранте, приехавшим ребёнком из Германии в середине 19 столетия и начавшим карьеру с должности мальчика, моющего посуду в ресторане и дослужившегося до менеджера престижного клуба, куда был нанят на работу своим будующим тестем. Впоследствии Джордж становится хозяином готеля Астория - одного из самых дорогих и престижных в Америке. В конце 19 века в 1895 году семейство Болдт покупает остров Hart в районе 1000 островов и переделывают его, придав острову форму сердца и переименовывав в Heart Island(остров Сердца), Болдт выстраивает самый большой и красивый летний дом в этом районе. Но уже через пять лет, в начале 1900 года он решает снести построенный дом и начать строительство замка, который являлся свидетельством его любви к его жене Луизе. В новом доме планировалось построить 127 комнат, 365 окон, по колличеству дней в году, плаветельный бассейн и лифт как в Нью Йорских домах. На строительстве дома было задействовано около 300 человек и постройку планировали окончить к Дню Святого Валентина 1905 года, было вложено около 5 миллионов долларов, но внезапная смерть Луизы, скончавшейся скоропостижно на 42 году жизни от туберкулёза в 1904 году останавливает стройку и замком, практически никто не занимался более 70 лет.