Według zapisków Jana Długosza zamek został wybudowany na polecenie Kazimierza Wielkiego w latach 40 XIV wieku. Był on, podobnie jak Baszta, zbudowany z ogólnodostępnego w okolicy wapienia. Początkowo miał on kształt zbliżony do owalu, który był otoczony grubymi na dwa metry murami obwodowymi z blankami. Na wewnętrzym dziedzińcu prawdopodobnie znajdowały się drewniane zabudowania.
W XV wiek wieku ród Grotów zarządzający zamkiem dokonał jego rozbudowy, dobudowywując min. trójkondygnacyjne skrzydło mieszkalne od strony zachodniej, kwadratową wieżę mieszkalno-obronną od strony Wisły, przylegające do niej skrzydło mieszkalne oraz suchą fosę.
W 1509 roku Zygmunt I Stary nadaje prawa do zamku rodowi Firlejów. Wtedy też, za sprawą Mikołaja Firleja ma miejsce druga przebudowa. Z jego polecenia Santi Gucci oraz Piotr Likiel przebudowali zamek nadając mu styl włoskiego renesansu. Dodano wtedy min. attykę oraz nadbudowano skrzydła mieszkalne.
W roku 1655 podczas Potopu zamek został zajęty i spalony przez wojska szwedzkie, a dwa lata później został w znacznej części zniszczony przez oddziały księcia Rakoczego.
W 1663 roku w Kazimierzu Dolnym wybuchł wielki pożar pochłaniający większość miasta, w tym i zamek dolny.
Na początku XVIII wieku za panowania Augusta II Mocnego powstają plany odbudowy zamku w stylu pałacowym, jednak zostają one pokrzyżowane przez wojnę domową ze Stanisławem Leszczyńskim. W wyniku tego zamek popada w ruinę i do końca wieku zostaje całkowicie opuszczony. W 1806 władze austriackie ze względów bezpieczeństwa wysadziły grożącą zawaleniem się część murów wraz z attyką.
18 marca 1831, w czasie bitwy pod Kazimierzem Dolnym powstania listopadowego, zamku bronił Batalion Celnych Strzelców Sandomierskich pod dowództwem Stanisława Krzesimowskiego. Za udział w powstaniu Adama Czartoryskiego, zamek należący wtedy do rodziny Czartoryskich, został skonfiskowany i przeszedł na własność skarbu Królestwa Polskiego.
W latach 1958-1960 na terenie ruin przeprowadzono badania archeologiczne. Zamek zabezpieczono w formie trwałej ruiny i udostępniono go dla ruchu turystycznego.
Źródło: Wikipedia