Каменец-Подольская крепость расположена на скалистых берегах реки Смотрич, высота которых доходит до 25 метров, к её вратам вел узкий 9 метровый перешеек, что естественным образом предопределило её военно-оборонное значение.
Первые постройки Каменец-Подольской крепости сочетали в себе деревянные башни и земляные насыпные валы. Они не один раз перестраивались и подвергались разрушению. В XIII-XIV столетии были возведены каменные сооружения, которые и положили начало замку, который дошел до наших дней.
С 1362 года крепость приобрела статус форпоста Литовского княжества. Русско-литовские летописи сохранили предания о том, что замок был построен братьями князьями Кориатовичами на месте деревянной крепости. Братья правили Подольским княжеством в 60-90-х годах XIV века. Каменец-Подольская крепость была построена для зашиты города от вражеских нападений и состояла на этом этапе из 2 врат, каменных стен и нескольких башен. Первые упоминания в истории также относятся к этому периоду — например, в грамоте Юрия Кориатовича (1374 год) „на почвы и разные права” в Каменец-Подольской крепости. 
В XV веке появляется еще ряд сооружений: комплекс башен и бойниц Польских врат. В 1434 году крепость вошла в состав польского владычества на Подолии. Первое дошедшее до наших дней описание датировано 1492 годом, в нем говорится о том, что замок в Каменец-Подольском состоит из Северных и Южных врат, башен и каменных стен из камня известняка на известняковом растворе. За этот период Подолия 28 раз подвергалась татарским набегам.
XVI век дополнил Каменец-Подольскую крепость оборонительным комплексом Русских врат, а также целым рядом башен: Папская, Колпак, Тенчинская, Ляцкая, Новая Западная, Рожанка, Лянскорунская, Водная, Черная. Таким образом крепость стала включать в себя 11 башен, соединенных валами и 1 водную башню, а также каменные валы и стены, пороховые погреба и казармы. Основной задачей Старого Замка была защита города, характерна особенность ведения близкого боя. Для проектирования замка приглашали европейских архитекторов, таких как И.Камилиус, И.Претфус, Т.Шомберт. В XVI веке крепость подвергалась нашествиям татарских орд 18 раз.
Начало XVII века Каменец-Подольская крепость встретила в составе Речи Посполитой. Из-за угрозы турецкого и татарского нападения вновь производилась реконструкция — к Старому замку достраивают комплекс Нового замка, который предполагал использование в обороне артиллерийского оружия (дальнобойных орудий, пушек, огнестрельного оружия).
В 1672-1699 годах Каменец-Подольская крепость переходит под власть Османской империи — в этот период восстанавливаются все разрушения и возводятся новые здания – пороховые склады, мечети, минареты.
В ХVIII веке крепость Каменец-Подольская крепость все больше используется польским правительством в качестве тюрьмы. Её узниками были казацкий полковник Абазина, предводитель повстанцев Клеофас, трехлетний претендент на польский трон Станислав Август, заговорщики Пешинский и Фракенберг, пытавшиеся убить короля Станислава Августа, пасынок того же короля А. Грабовский, многие из них были здесь и казнены. В 1793 году Каменец-Подольская крепость уже входит в состав Российской империи. Замок выполняет функцию тюрьмы, а сама крепость утрачивает в данный период военно-оборонное значение.
В XIX веке в связи с Отечественной войной 1812 года в крепости постоянно находились русские войска. Узником крепости несколько раз был руководитель антифеодального движения на Подолии первой трети XIX века, народный герой Устим Кармалюк (1787 — 1835). В этот период Папская башня получила второе название — Кармелюкова, когда в ней был посажен Устим Кармелюк. Одним из самых разрушительных нападений стал набег турецких войск под командованием Абаза-паши в 1833 годах. Все эти нападения создали славу крепости в Европе, как неприступного форпоста.
В 1906 году в Каменец-Подольской крепости содержалось 67 политических заключенных (Н.Г. Козицкий, В.К. Чернявский, С.А. Ильницкий и другие). XX век завершил тюремную эру и закрепил за крепостью статус памятника истории. В 1923 году Каменец-Подольская крепость со своими Старым и Новым Замками согласно постановления СНК УССР получила статус Государственного историко-архитектурного заповедника. В1937 году на территории крепости был организован музей-заповедник. В 1948 году крепость внесена в государственный реестр историко-архитектурных памяток общесоюзного значения.
