Князь Голицын в обществе слыл самодуром, повесой и транжирой. Например, историк Михаил Иванович Пыляев отзывался о нем так: «Этот Голицын имел 24000 душ крестьян и громадное состояние, которые пустил прахом: частью проиграл в карты, частью потратил на неслыханное сумасбродство.
