Helen, Roma, Bizans ve Osmanlı dönemlerine ait kalıntıların bulunduğu Kadifekale, bugün kent merkezinde 186 metre yükseklikteki bir tepe üzerindedir. Eski adı “Pagos” olan Kadifekale'de yaşayan Amazon kadınlarının, dağın eteklerinden inip, hâkimiyetlerini uzun yıllar burada sürdürdükleri rivayet edilmektedir. Tepede; Büyük İskender’in generallerinden “Lymachos” tarafından yaptırılan kale bulunmakta ve günümüzde kalenin batısındaki 5 kulesi ile güneyindeki duvarlarının bir bölümü halen ayaktadır.