Rize Kalesi, iç ve aşağı kale olmak üzere iki kısımdan oluşur. Cenevizliler döneminde iç kale kullanılmıştır. Bizans İmparatoru Jüstinyen(527-563) döneminde tekrar inşa
edilmiştir. Kenar kısımları düzgün olmayan yamuk bir planı olan iç kale 150 metrelik doğal bir yükselti üzerine kurulmuştur. Kalenin duvar kalınlıkları yaklaşık olarak 1,5 m
olup yarım daire planlı 5 kuleye sahiptir.

Aşağı Kale surlarının bazı bölümlerinin Alexios (1297-1330) döneminde yapılan kale surlarıyla benzediği için aynı dönemde yapıldığı varsayılmaktadır. Zamanında iç kaleden
kuzeydoğu ve kuzeybatı yan taraflara açılıp uzayan ve denize ulaşan surlarla çevriliydi. Günümüzde ise batı surlarının bir kısmı ve bazı kuleler mevcuttur. Bizans döneminde
aşağı surları da inşa edilerek kullanılan Rize Kalesi, Osmanlılar döneminde de onarılarak kullanılmıştır.