Во второй половине XVI века в Ростове вновь начинается большое каменное строительство. В это время был открыт торговый путь на запад и на север через Архангельск, дорога на который шла через Ростов. Памятью о XVI веке в Ростове остался Успенский собор. Выше говорилось о том, что на этом месте стояло более древнее здание XII-XIII веков. Во время большого городского пожара в 1408 году у него обрушились барабаны и своды, но вскоре он был восстановлен и, наконец, уступил в XVI веке место собору, сохранившемуся до наших дней. От древнейших зданий, предшествовавших собору, сохранилась до наших дней только одна деталь - две бронзовые скульптурные маски животных, в пасти которых вделаны кольца, служившие ручками на западных дверях собора.
Точной даты строительства Успенского собора исследователи не знают. В 1589 году стены собора были расписаны. В 1609 году укрывшиеся в соборе горожане вместе с митрополитом Филаретом до последнего оборонялись против поляков. Однако враг одолел, митрополит был взят в плен, а люди перебиты. Сам собор уцелел и был только разграблен. В 1613 году ехавший из Костромы в Москву царь Михаил Романов встретился в соборе с ростовчанами. В 1659 году иконописцы из Ярославля расписали собор, а в 1671 году после пожара восстанавливали фрески. Однако эти росписи были записаны в 1779 году и вновь переписаны масляной краской в 1843 году, что привело к практически полной их утрате. Фрагменты подлинных росписей XVI и XVII веков были обнаружены в 1950-х годах во время реставрации. Резной золоченый иконостас собора был сделан после очередного пожара в 1730-1740-х годах.
Успенский собор стал усыпальницей Ростовских князей и митрополитов. Среди них святителей и митрополитов - святой Леонтий Ростовский, убитый язычниками за проповедь христианства, святой Исайя Ростовский, святой Игнатий Ростовский, святой Феодор, племянник и ученик преподобного Сергия Радонежского, строитель Ростовского кремля митрополит Иона Сысоевич. Из князей - убитый татарами Василько Константинович, его мать Агафия, супруга Мария и дети Борис и Глеб. Множество гробниц под полом собора до сих пор не атрибутированы.
Это здание на долгое время стало архитектурным центром города. Близ него располагался двор архиепископов, на котором находилось немало каменных построек Тогда же, в XVI веке, был возведен Богоявленский собор Авраамиева монастыря.
В начале XVII века в годы Смуты Ростов был сильно разорен. Причем грабили город не столько поляки, сколько "воры переславцы" - предавшиеся полякам жители соседнего Переславля-Залесского. В ходе восстановления города было принято решение укрепить его. В 1631-1633 годах начинаются работы по возведению земляных валов. Летопись сообщает, что "мастера были немцы". Стен на валах не ставилось, в них были сделаны разрывы, через которые проходили дороги на Ярославль, к озеру и на Москву и только у главного, Петровского въезда, была сооружена деревянная башня. Валы имели девять выступов и вокруг валов был проведен ров, остатки которого видны до сих пор. За валами располагался посад.
Однако подлинную славу Ростову принесло строительство во второй половине XVII века резиденции ростовского митрополита, сделавшее Ростов неповторимым в архитектурном отношении. Все началось с того, что в 1664 году в Ростов возвратился митрополит Иона, исполнявший до этого в течение двух лет в Москве должность местоблюстителя патриаршего престола вместо патриарха Никона, который покинул престол. В 1664 году Никон внезапно возвратился в Москву и Иона уступил ему в московском Успенском соборе патриаршее место, тем самым задев и оскорбив царя. Вскоре последовало возмездие - Иона был отстранен от управления Церковью и отправлен назад в свою митрополию в Ростов. Вернувшись в город, митрополит приступил к строительству своей резиденции.
Иона родился в 1607 году в семье священника Сысоя неподалеку от Ростова в глухой деревеньке Ангелове. Ничего не известно о его ранних годах и юности - известно только, что он был монахом угличского Воскресенского монастыря. Затем Иона был настоятелем нескольких монастырей и в 1652 году принял от патриарха Никона сан митрополита и получил назначение в Ростов. Митрополитом он был около сорока лет и скончался в 1691 году.
Документы сообщают, что Иона был милосердным человеком и не делал различия между людьми. Известно, что он неоднократно вступался за ростовчанку Ирину Мусину-Пушкину, которая, переодевшись мальчиком, отправилась на войну верхом на коне вместе со своим мужем и отличилась в жарких схватках под Смоленском. После смерти мужа она занималась историей, много читала и писала, самостоятельно вела переписку с иностранцами, и ее поведение многим казалось вызывающим. В другой раз, услышав стоны пытаемого по приказу ростовского воеводы в подвале церкви, Иона прервал праздничное богослужение и заставил прекратить пытки. Он был настоящим человеком пестрого XVII века - милосердие сочеталось в нем с жесткостью, храбрость - со страхом, лукавость с простодушием.
Cтроительство началось в 1660-х годах и продолжалось примерно сорок лет (1660-1700) при митрополитах Ионе и Иоасафе и завершилось созданием удивительного архитектурного комплекса, в начале XIX века получившего название "Ростовский кремль". От обилия крестов на куполах храмов Архиерейского дома родилась поговорка "Ехал черт в Ростов да испугался крестов". Однако расцвет кремля был недолгим. В XVIII столетии великолепие кремля начинает исчезать. Характерное для XVIII века пренебрежение к допетровским культурным ценностям приводит к тому, что гибнут уникальные древние книги, архивы, рукописи. В ветшающих зданиях располагаются служебные помещения, многочисленные склады. Уникальные здания перестраиваются и уродуются, ветшают и обваливаются стены, башни и храмы.
К началу XIX века кремль пришел в такое состояние, что у городских властей в 1818 году возникла мысль его разобрать вообще и на его месте построить гостиный двор. Инженером Бетанкуром был разработан проект и началась разборка зданий - успели разобрать верхнюю часть Часобитной башни и второй этаж Красной палаты, после чего дело, к счастью, остановилось. Однако заботы о кремле попрежнему никто не проявлял никакой и только в 1870-х годах, после почти двухвекового забвения начинается работа по его восстановлению. Была проведена реставрация, в Белой палате и княжьих теремах был создан музей.