Стало уже традиционным относить постройку белокаменного Серпуховского кремля к 1556 году. Однако ни один известный письменный источник не указывает на эту дату. Можно лишь предполагать, что, давая смотр войскам, Иван принимал и новую крепость, подобно тому как в 1566 году он лично осматривал новые крепости «украинных городов».
Кремль был построен на высоком мысу при слиянии речки Серпейки с Нарой. Еще при строительстве деревянного кремля мыс «с приступа» был отделен от Ильинской горы «перекопом», а затем подрезан и подсыпан глиной и песком. Из «перекопа» в кремль был устроен единственный въезд в виде крутого пандуса, следующего очертанию вала (второй вьезд, с юга, сделан много позднее, в начале XIX века). Строители каменных стен и башен, постепенно заменяя деревянные укрепления, повторили конфигурацию первого Серпуховского кремля. В настоящее время от некогда неприступной крепости сохранились только два небольших фрагмента стен, и единственным материалом к воссозданию архитектурного образа кремля служат письменные источники, планы, хранящиеся в архивах, и графические изображения.
Серпуховский кремль, не имеющий прямых аналогий в практике строительства каменных укреплений на протяжении всего XVI века,- интересный памятник русского крепостного зодчества. Прежде всего уникален сам строительный материал: кремль полностью выстроен из белого камня. В других же крепостях того времени белый камень играл вспомогательную роль. Этот материал еще во второй половине XV века почти повсеместно сменяется кирпичом, но в Серпухове, где белый камень находится буквально под рукой, строительство из него продолжается вплоть до середины XVII столетия. В городе были и собственные кадры профессиональных каменщиков. «Камень тешот» — написано про жителей Ивановской слободы в сотной (переписной) книге 1552 года, которая составлялась, чтобы выявить экономические возможности города до того, как приступить к постройке каменной крепости.
Боевые стены охватили территорию кремля, следуя очертаниям естественного холма, а не линиям архитектурного плана, как это было характерно для крепостей времени Ивана Грозного. План кремля представлял собой неправильный треугольник с периметром в 933 метра. В его строительстве нашло отражение начавшееся широкое применение артиллерии, и в первую очередь это выразилось в конструкции стен. При значительной толщине (3,5 метра) они не столь высоки (6,5-8,5 метра). Широкая боевая галерея рассчитана на удобное размещение пушек и пищалей. Башни располагались в местах наиболее значительных изломов стены, что исключало возможность существования необстреливаемых пространств. Полубашни (их было три) — еще одна интересная особенность Серпуховского кремля. Они представляли собой П-образные в плане выступы стен и были выше обычных прясел. Полубашни сооружались вблизи основных башен, на изломах стены, в тех случаях, когда промежуточное прясло получалось сравнительно коротким.
Особенно значительное влияние применение артиллерии оказало на решение крепостных въездов. Если крепости XIV-XV веков, незнакомые с «огненной дуэлью», имели сложные въезды, состоящие из отводных стрельниц, захабов, и т. п., то в укреплениях XVI столетия необходимость в них отпала — появляются простые проездные башни. Тем более неожиданной по мастерству и изобретательности решения предстает система проезда Серпуховского кремля.
Этот планировочный узел представлял собой видоизмененный рукавчатый захаб. Существующий въезд в кремль подводил к Спасским воротам, устроенным в стене между восьмигранной Караульной башней и отводной полубашней. Ворота вели в узкий длинный карман, образованный двумя параллельными стенами, одна из которых была отводная. И, наконец, чтобы попасть на территорию самого кремля, надо было миновать Большую проезжую башню, имевшую вдобавок изгибающееся под прямым углом колено проезда.
Отводная часть контролировала въезд и в то же время не мешала стрельбе, так как высота ее была меньше высоты стен. В ней был предусмотрен даже тайный ход, через который осажденные могли неожиданно ударить по врагу. Появление такого проезда, характерного для крепостей более раннего времени, конечно, нельзя объяснить только тем, что новый каменный кремль повторял планировку старого, деревянного.
Создатели Серпуховского кремля были хорошо знакомы с вооружением крымских татар, не имевших собственной осадной артиллерии. Правда, турецкий султан посылал им янычар с пушками, но их было очень мало, и при осаде крепостей применялись в основном старые градобитные орудия. Поэтому крымские татары не могли рассчитывать на прорыв обороны крепости в каком-либо другом месте, кроме ворот. Серпуховский кремль полностью исключал и эту возможность.
Если подойти к самой кромке кремлевского холма, то можно обнаружить узкую дорожку, огибающую всю его территорию по тому же месту, где проходила боевая стена. Небольшие, встречающиеся по пути площадки напоминают о некогда возвышавшихся здесь башнях.
Площадка, расположенная над самым въездом, отмечает место восьмигранной Караульной башни, в которой размещалась пороховая палата. За ней, напротив посада, стояла Северная полубашня, фиксировавшая значительный излом стены. Между Северной полубашней и следовавшей за ней круглой Воскресенской башней прясло стены было небольшое. От него сохранился фрагмент с узким проходом, подчеркнутым с обеих сторон стены глубокими филенками и имеющим устройство для подъема решетки — герсы. Стены с внешней и внутренней стороны были выложены из массивных блоков белого камня, а середина забучена мелким постелистым камнем на известковом растворе. Изнутри стена была расчленена большими арочными нишами с каморами. Снаружи стена имела машикули — специальные навесные бойницы для обстрела неприятеля, прорвавшегося непосредственно к ее подножию.
Следующий участок стены от Воскресенской башни шел параллельно Серпейке до круглой небольшой Никольской башни, в которой был устроен деревянный тайник с колодцем для снабжения осажденных водой. От этого прясла также сохранился фрагмент стен. Он был ровно обрублен с юга во время устройства нового въезда, тогда же пристроили несколько поддерживающих стену контрфорсов. С юга стена была усилена восьмигранной Высоцкой башней. От нее стена шла параллельно Наре, а затем через Южную полубашню и Большую проезжую башню подходила к въезду.
В XVI веке кремль представлял собой и своего рода административный центр. Отсюда Серпухов, плативший в казну дань медом, управлялся тиунами и наместниками. Когда же Иван Грозный ввел на Руси земское самоуправление, их в 1580 году сменили выборные губные старосты. Но военное управление постоянно было сосредоточено в руках воевод, регулярно назначаемых Москвой. На небольшой площади перед Троицким собором стояли съезжая и губная избы, воеводский дом. Немного в стороне находился второй храм — церковь Дмитрия Солунского, упоминаемая с конца XV столетия. Остальная же территория каменного города была заполнена осадными дворами окрестных монастырей и феодалов, которые в мирное время в городе не жили, а держали «дворников». Все, что относилось к обороне кремля, поддерживалось ими с особой тщательностью: были устроены «клети» для пищалей, «зелейная казна» с помещениями для ядер и пуль, «котлы селитрянные медные», «хлебные житницы».