La tradition veut que sur le site de l'actuelle mosquée-cathédrale de Cordoue se trouvait à l'origine une église chrétienne dédiée à saint Vincent le Martyr, qui a été divisée et partagée entre chrétiens et musulmans après la conquête islamique de la péninsule ibérique. La population islamique augmentant, l'émir Abderraman Ier décida en 785 d'acheter l'ensemble de la structure et de la démolir pour construire la nouvelle mosquée ; en échange, il autorisa les chrétiens à reconstruire d'autres églises en ruine, dont celles des martyrs Saint Faustus, Januarius et Martial, qui jouissaient à l'époque d'une grande dévotion.

L'historicité de ces événements a été contestée, car les preuves archéologiques sont rares et ne peuvent être vérifiées par les événements postérieurs à l'arrivée d'Abderraman sur la péninsule. Le récit de la transformation de l'église en mosquée, développé par l'historien du Xe siècle al-Razi, présente de nombreuses similitudes avec la conquête musulmane de la Syrie, en particulier avec la construction de la mosquée des Omeyyades à Damas. Pour les historiens médiévaux, ces parallèles ont servi à glorifier la conquête omeyyade de la péninsule et l'appropriation de Cordoue wisigothique.1115 Une autre source du Xe siècle mentionne une église qui a été érigée au centre de la mosquée, sans donner beaucoup plus de détails.15 Une exposition archéologique actuelle à la Mosquée-Cathédrale montre des fragments d'un bâtiment de la fin de l'Antiquité ou wisigothique fouillé par l'architecte Félix Hernández en 1930, soulignant le caractère chrétien du monument.

La mosquée de fondation a été construite par Abderraman Ier, l'un des derniers membres de la dynastie omeyyade qui avait réussi à s'échapper de Damas après le massacre de sa famille pendant la révolte abbasside et avait vaincu le gouverneur abbasside Yusuf ibn 'Abd al-Rahman al-Fihri à Cordoue, établissant le nouvel émirat indépendant en 756.

La construction de la mosquée a commencé en 785 et a été achevée en moins de deux ans. Cette très courte période peut être due à la réutilisation de matériaux romains et wisigoths (porteurs), notamment les colonnes et les chapiteaux. L'architecte est inconnu, bien que des influences syriennes (omeyyades), wisigothiques et romaines aient été notées dans la conception du bâtiment. Les maçons comprenaient probablement des locaux et des Syriens d'origine syrienne. Selon la tradition et certaines sources écrites, Abderraman était personnellement en charge du projet, bien que la mesure dans laquelle il a personnellement influencé la conception de la mosquée ait été débattue.

Les murs de la qibla des mosquées devraient théoriquement être orientés vers La Mecque ; cependant, la mosquée de Cordoue est orientée vers le sud, alors que La Mecque est orientée vers le sud-est.3233 Cette orientation, contrairement aux mosquées d'aujourd'hui, est due à des divergences d'opinion historiques sur la direction correcte du mur de la qibla dans des lieux islamiques plus éloignés comme al-Andalus et le Maroc.

Amir Hisham Ier a achevé les travaux inachevés après la mort d'Abderraman Ier, en terminant la cour ou sahn et en érigeant le premier minaret.2630 Ce premier minaret carré a ensuite été démoli par Abderraman III qui en a construit un autre, partiellement démoli par la suite, dont les vestiges seraient encastrés dans le clocher chrétien de la cathédrale. Les fondations du minaret de Hisham Ier ont été trouvées dans le Patio de los Naranjos par l'archéologue Félix Hernández au XXe siècle, qui a marqué son emplacement sur le pavement et il est visible aujourd'hui.

Selon l'historiographie classique, la croissance de la ville aurait déterminé la nécessité d'un oratoire (haram) de plus grande capacité afin d'accueillir davantage de fidèles lors des offices du vendredi. Abderraman II a donc décidé d'agrandir la mosquée pour la première fois. Les travaux ont commencé en 836 (bien que les années 833 et 848 soient également mentionnées) et ont été achevés en 852 sous le règne du fils d'Abderraman II, Muhammad Ier (r. 852-886).292630 Le mur d'origine de la quibla a été démoli, les vestiges étant encore visibles aujourd'hui sous la forme de grands piliers, et les arcades ont été prolongées de huit travées supplémentaires, pour une longueur totale de 24 m. L'extension de la mosquée a été achevée en 852 sous le règne du fils d'Abderraman II, Muhammad Ier (r. 852-886).

En 929, Abderraman III établit le nouveau califat de Cordoue et consolide le nouveau pouvoir andalou dans la région. Dans le cadre de ses différents projets de construction, il a agrandi la cour de la Grande Mosquée et a démoli le premier minaret pour en ériger un nouveau entre 951 et 952.2630 Le minaret mesurait 47 m de haut et avait une base carrée de 8,5 m de côté. Le spécialiste Jonathan Bloom a suggéré que la construction du minaret par Abderraman était considérée comme un symbole de l'autorité croissante du calife et une tentative de rivaliser avec le califat fatimide à l'est. Abderraman a également renforcé le mur nord de la cour en ajoutant une autre façade devant l'ancienne.

Coïncidant avec la splendeur du califat, Al-Haken II (r. 961-976), qui participa aux projets architecturaux de son père, entreprit l'extension la plus novatrice sous son règne en 961. Il a démoli l'ancien mihrab d'Abderraman II, dont les vestiges sont également visibles aujourd'hui, et a agrandi la salle de prière de 45 m vers le sud en ajoutant 12 baies à la conception originale à double arc. La nef centrale de la mosquée a été ennoblie par la construction d'une coupole à nervures, qui fait aujourd'hui partie de la chapelle Villaviciosa. Une macsura rectangulaire a également été créée, surmontée de trois coupoles nervurées autour du nouveau mihrab, présidée par des arcs simples polylobés et entrelacés, et les colonnes alternent des fûts roses, en jaspe rouge de Cabra, et des bleus foncés de la Sierra Morena de Cordoue.

Compte tenu de la croissance démographique continue de Cordoue, le Hajib du calife Hisham II, Almanzor, décida de réaliser la troisième et dernière extension de la mosquée entre 987 et 988.2629 Son extension fut la plus importante de celles entreprises, touchant à la fois la cour et la salle de prière, bien qu'elle n'ait pas été réalisée au sud comme les précédentes, en raison de la proximité du fleuve Guadalquivir, mais à l'est sur 47,76 m, ajoutant huit nefs à la mosquée, laissant le mihrab décentré. Le même dessin à double arc se répète dans la nouvelle construction, bien que l'alternance des voussoirs soit uniquement chromatique et non des matériaux, puisqu'ils sont tous en pierre calcaire, bien que les rouges soient peints à l'almagre.

Après l'effondrement du califat de Cordoue au début du XIe siècle, la mosquée n'a plus été agrandie. L'absence d'autorité a eu des conséquences négatives pour le temple, comme les pillages et les dommages pendant la fitna d'al-Andalus.47 Cordoue a également subi un déclin, même si elle est restée un centre culturel important. Sous les Almoravides, les ateliers d'artisans cordouans étaient chargés de créer des mimbars richement décorés pour les mosquées importantes du Maroc, le plus célèbre étant le mimbar d'Ali Ibn Yusuf en 1137, qui s'inspirait du mimbar de la Grande Mosquée d'Alhaken II.

Après la conquête de Cordoue par les Castillans en 1236, Ferdinand III de Castille a transformé la mosquée en cathédrale et l'a dédiée à la Vierge Marie, subissant diverses modifications qui ont donné naissance à l'actuelle cathédrale de Cordoue. La première messe a été célébrée le 29 juin de cette année-là. Selon l'évêque Rodrigo Jiménez de Rada, Ferdinand III a également rendu à la ville les anciennes cloches de la cathédrale de Saint-Jacques-de-Compostelle, qui avaient été prises par Almanzor, comme un acte symbolique.

Cependant, la plus grande rupture avec le bâtiment islamique s'est produite au XVIe siècle, lorsqu'une grande nef chrétienne a été construite au milieu de l'ancienne mosquée, formant la nouvelle chapelle principale, sous les auspices artistiques et architecturaux de la Renaissance ; cela a représenté une rupture sérieuse avec les postulats spatiaux islamiques. La proposition de l'évêque Alonso Manrique était controversée et rencontrait l'opposition du conseil municipal de Cordoue. Finalement, l'empereur Charles V intervient pour que les travaux soient réalisés, mais il le regrettera plus tard, comme l'a dit Bernardo de Alderete : "Vous avez détruit ce qui était unique au monde et vous avez mis à la place ce que l'on peut voir partout".

En 1816, le mihrab original de la mosquée a été mis au jour après le déplacement du retable de l'ancienne chapelle Saint-Pierre. Patricio Furriel a été chargé de restaurer les mosaïques islamiques du mihrab, y compris les zones qui avaient été perdues. Des restaurations ont également été effectuées sur l'ancienne structure de la mosquée entre 1879 et 1923 sous la direction de Ricardo Velázquez Bosco, qui a notamment supprimé les éléments baroques qui avaient été ajoutés à la chapelle de Villaviciosa et mis à jour les structures précédentes. Pendant cette période, en 1882, le temple a été déclaré monument national. Par la suite, des fouilles archéologiques ont été réalisées dans la salle de prière et dans la cour des Orangers par Félix Hérnandez entre 1931 et 1936. Des chercheurs ultérieurs ont noté que ces restaurations à partir du XIXe siècle se sont concentrées sur la récupération des éléments architecturaux islamiques, car, à partir du XIXe siècle, l'Espagne a fait de grands efforts pour étudier et récupérer ses monuments andalous.