Над одноэтажным корпусом, выходящим в парк, была сделана открытая терраса с видом на Фонтанку.

Позади главного корпуса был разбит регулярный сад с бассейнами, фонтанами и другими «затеями». В саду дворца любил гулять полководец А. В. Суворов – друг графа Воронцова. Оттуда хорошо были видны фейерверки, сопровождавшие гулянья в Аничковом саду.

Парадный двор отделен от улицы прекрасной ажурной оградой, выполненной по рисунку Растрелли. Это один из ранних примеров русского художественного чугунного литья. В орнаменте решетки гармонично сочетаются геометрические и растительные мотивы. Особенно хорош узор главных въездных ворот. Он виртуозен, отличается тонкостью, изысканностью. Легкий ажур ограды прерывается мощными столбами.

Строительство дворца едва не разорило графа, поставило его на грань банкротства. Его частые сетования на это сыграли свою роль. Царица Елизавета “подкинула” ему 40 тысяч. В “Санкт-Петербургских ведомостях” было напечатано уведомление читателе о том, что “23 ноября (с.с.) 1758 года освящена была церковь в новопостроенном доме графа Михаила Ларионовича Воронцова. Ее императорское величество изволило кушать у его сиятельства, а для новоселья вручила ему указ на 40000 рублей”. Но эта субсидия не выручила Воронцова. Теперь он жаловался, что приходится тратить большие средства на частые балы и “машкерады”. И в 1763 году Воронцов продал в казну свой дворец, получив за него от Екатерины II 217600 рублей.

До 1770 г. здание пустовало. Затем в нем временно поселили брата прусского короля Фридриха II – принца Генриха. Он вел переговоры с Екатериной II о разделе Польши. После этого во дворце недолго жили другие высокопоставленные лица.

Подошел к концу XVIII век. Павел I сменил на престоле свою мать Екатерину II.

29 ноября 1798 г. Павел I принял титул Великого магистра мальтийских рыцарей. Он подарил Воронцовский дворец российской ветви Мальтийского ордена.

Над решетчатыми воротами дворца укрепили орденский герб: на красном фоне белый мальтийский крест с четырьмя раздваивающимися оконечьями, обозначающими христианские добродетели: благоразумие, умеренность, мужество, справедливость и другие.

Бывший дворец было приказано называть «замок мальтийских рыцарей».

В 1798 – 1800 гг. по велению Павла I на территории дворцовой усадьбы были сооружены два храма: православная церковь и католическая капелла ордена мальтийских рыцарей (архитектор Дж.Кваренги). Капелла – одна из лучших работ Кваренги. Создавая это небольшое здание рядом с растреллиевским дворцом, Кваренги слегка нарушил свою обычную классическую строгостью. Он сделал попытку смягчить линию фасада, ввод округлые профили на стыке черкивания, только этими, казалось бы, незначительными, деталями он стремился связать художественный облик капеллы с архитектурой растреллиевского сооружения.

До сих пор хорошо сохранилась внутренняя отделка капеллы – колоннада коринфского ордера, роспись, лепное убранство стен, облицованных искусственным мрамором. Тщательная реставрация капеллы была произведена в 1927 году архитектором Н. П. Никитиным.

Зал Мальтийской капеллы, а также церковный зал во дворце приобретают особую ценность как интерьеры Кваренги, потому что почти все другие впоследствии подверглись значительным переделкам или погибли.

Интерьеры православной церкви более скромны, но и она, украшенная синим и желтым мрамором, тонкой лепниной на стенах, также прекрасна. Оба здания принадлежат к числу лучших образцов русского классицизма.

В правление Александра I прекратила свое существование российская ветвь мальтийского ордена. Дворец был отобран в казну, и его передали Пажескому корпусу, созданному еще Екатериной II для воспитания и обучения пажей. Они изучали математику, военные науки, философию, право, историю, геральдику, генеалогию, русский и иностранные языки, государственный церемониал, а также верховую езду, фехтование, танцы.