Fue construido por la Casa de Medina-Sidonia entre los años 1477 y 1478 bajo el patronazgo de Enrique Pérez de Guzmán y Meneses, II Duque de Medina-Sidonia y VII Señor de Sanlúcar. Está situado en el ángulo noreste de la antigua ciudadela construida en tiempos de Guzmán el Bueno, primer Señor de Sanlúcar, al borde de la barranca que divide el municipio en dos alturas.

                                                                                                                                                                                       

Es de estilo gótico tardío. Su fabrica es mixta, de tapial, mampostería y sillería. Su planta es cuadrangular, con barbacana y torres distribuidas en torno a un patio de armas central. En el ángulo noreste se levanta el conjunto formado por el aula maior y la torre del homenaje. La primera de estas estancias es de planta cuadrangular y está cubierta por una bóveda de ladrillo revestida de pinturas murales que representan el emblema del duque constructor, una segur. La segunda es de planta hexagonal. El coronamiento del aula mayor presentaba una decoración de crestería calada gótica tardía que ha sido repuesta recientemente en parte.

                                                                                         

 Como puede observarse en los planos levantados en 1756, gran parte de sus panamentos eran de perfil almenado, aunque la mayoría de los merlones ha desaparecido por el paso del tiempo y por las últimas obras en el edificio. En el revestimiento de la parte baja de sus muros existe una importante colección de antiguos graffiti. Asimismo presenta marcas de cantería que dan una valiosa información sobre su construcción.

Uno de sus elementos más destacados por su labor escultórica es la puerta que comunica el patio de armas con la barbacana del lado norte. Se trata de un vano de medio punto, coronado por la imagen en medio relieve de un tritón cuya cola doble está flanqueada por los escudos de los Pérez de Guzmán y de los Mendoza. El estilo de la obra es gótico tardío, aunque presenta algunos detalles que apuntan hacia el incipiente estilo renacentista. No en vano, la puerta está firmada en la base de uno de sus baquetones por un tal "Marinu de Nea". Este nombre puede leerse como Marinus de Neápoli, lo que indicaría que su autor fue napolitano. Sin embargo, su apariencia emblemática dota al conjunto de un claro carácter medieval. Tradicionalmente ha sido llamada la "puerta de la Sirena", aunque no queda claro si se trata de una sirena o de un tritón.