История дворца начинается в 16 веке. Бывший владелец замка Лев Сапега - великий политический деятель, канцлер и один из богатейших людей страны — Великого Княжества Литовского, - однажды, определил на карте это место, где развернул грандиозное строительство своего Дворца.
