После смерти своего фаворита императрица Екатерина выкупает дворец в 1796 году у наследников Орлова и презентует его Константину Павловичу – внуку императрицы. Это был свадебный подарок на сочетание узами брака с принцессой Юлианой-Генриеттой-Ульрикой, получившей после принятия православия имя Анны Фёдоровны. Далее семейная резиденция передаётся Николаем I его сыну Константину. В середине XIX века был выбран проект Александра Брюллова по перестройке Мраморного дворца. Во внутренних интерьерах дворца были использованы роскошные материалы, чтобы придать им направления стилей ренессанса, классицизма, рококо и даже элементы готики. В 1888 году Константин Николаевич передаёт дворец в распоряжение великого князя Константина Константиновича. Специально для него на первом этаже дворца создаются утончённый и немного чопорный в интерьере Английский кабинет, так как в России начинает всё больше нарастать мода на всё английское, также готическая музыкальная гостиная со множеством различных инструментов и библиотека. Последняя была нужна князю чрезвычайно, так как он был известным в России поэтом, переводил незабвенные произведения классиков европейской литературы Шекспира, Гёте, Шиллера. Свои стихи он подписывал просто «К.Р.» (Константин Романов).