La puerta fortaleza es una de las más antiguas, pues ya aparecen citas de ella en el siglo IX. Su nombre, bab-Ilvira, se debe a que encaminaba a la antigua Medina Elvira, capital de la cora del mismo nombre hasta principios del siglo XI, cuando pasó a desempeñar esta función Medina Garnata.

Se construyó durante el siglo XI por los sultanes ziríes, integrada en la muralla que la unía por el este con la Puerta Monaita y por el suroeste con la Puerta del Sulfuro de Antimonio, bab al-Kubl, —conocida popularmente como Arco de las Tinajillas—. Ha experimentado distintas transformaciones a lo largo de su historia, siendo de mayor importancia la llevada a cabo en el reinado de Yusuf I de la dinastía nazarita. En esta época quedó conformada como fortaleza autónoma con cuatro torres, tres barbacanas y dos puertas —además de la exterior— que comunicaban con la cuesta de la Alhacaba y la calle de Elvira. En 1612 fueron demolidas las tres barbacanas, se allanó la explanada que precedía a la puerta y se construyeron doce casas adosadas a la muralla, que han llegado hasta hoy prácticamente sin variaciones. Durante la ocupación francesa se destruyeron varias puertas chapadas con hierro y se demolieron murallas, y en 1879 se derribó la Puerta del Hierro (bab al-Hadid) también llamada Puerta de la Cuesta (bab al-Aqaba), que se había añadido en el siglo XIV para comunicar la medina con el Albaicín.

En la actualidad se conservan el arco exterior de época nazarí, flanqueado por dos torres de tapial, todo rematado por almenas, y el estribo del lateral norte, formado por tres altos arcos de ladrillo que sustentan el correspondiente adarve. El arco de herradura, parecido a los de la Puerta de la Justicia y Puerta de la Rambla, está formado con dovelas, que son lajas de piedra arenisca, arquivolta del mismo tipo y jambas achaflanadas de piedra.

A lo largo del siglo XX, ha experimentado diversas obras de restauración y consolidación: en 1902 a cargo de Mariano Contreras, en 1957 bajo la dirección de Francisco Prieto-Moreno, y en 1990 conducidas por Antonio Almagro Gorbea y Antonio Orihuela Uzal. Desde 2001 hay abierto un nuevo proyecto de intervención sobre la puerta y muros adyacentes.

Está declarada Monumento Histórico Artístico Nacional desde 1896.

En el poemario Diván del Tamarit del poeta y dramaturgo granadino Federico García Lorca puede encontrarse el poema «Gacela del mercado matutino», en el que se referencia el Arco de Elvira.