Forte Filippo sembra più un castello che una torre e la sua forma quadrangolare è protetta da una doppia cinta muraria, una larga e corta, l'altra alta e rinforzata. Parte della passerella originale lungo questo muro interno è stata conservata e si possono ancora vedere le minuscole nicchie attorno ai bastioni che venivano utilizzate per riporre le armi e attaccare il nemico.