Mardin’in kuruluşu ile ilgili çeşitli efsaneler bulunmaktadır. Bunlardan birisine göre; Pers hükümdarı Ardeşir’in (226-241) Marde isimli bir kavmi yöreye yerleştirdiği ve şehrin ismi de bu kavimden kaynaklanmıştır. Bir başka efsaneye göre, Pers hükümdarlarından birisi, hasta oğlunu iyileştirmek için buraya getirmiş ve şehzadenin Mardin olan ismi yöreye verilmiştir. Diğer bir efsaneye göre de şehrin kuruluşu, günümüze ulaşan Mardin Kalesinin olduğu yere yerleşen ve gününü ibadetle geçiren Dîn isimli bir alimin öyküsüne bağlanır. Heraklius’un gönderdiği bir komutan Dîn ile önce dost olmuş, sonra da Onu öldürmüştür. Komutan buraya bir kale yaptırmış ve zamanla Dîn Öldü anlamına gelen “Mâte Dîn’in” Mardin’e dönüştüğü ileri sürülmüştür. Bu efsanelere dayanılarak kente, Süryaniler Süryanice Kale ya da Kaleler anlamına gelen Merdin, Merdi, Merdo, Mirdo, Merde, Marda, Mardin demişlerdir. Bizanslılar Maride, Mardia; Ermeniler Merdin; Araplar Maridin; Osmanlılar da Mardin olarak isimlendirmişlerdir.
Çoğu kaynaklarda Mardin’in gerçek adı “Merdin” diye geçmektedir. Nitekim halkın çoğu bugün böyle demektedir. Merdin adı “Kaleler” anlamına gelmektedir. Kentte bir çok kalenin varlığı, bu şekilde isimlendirilmesine neden olmuştur. Mardin’in kale kavramlarıyla adının bu kadar sık geçmesinin en önemli nedeni de birbirini koruyup kollayan doğal savunma ve gözetleme görevini üstlenen korunaklı yapıların varlığındandır.

Mardin’in ne zaman ve kimler tarafından kurulduğu kesin olarak bilinmemektedir. Eski Yakın Doğu tarihine göre; şehrin kuruluşu Subarilere dayanmaktadır. MÖ.4500’den itibaren yöreye Subariler, Hurriler, Sümerler, Akadlar, Mitanniler, Hititler, Asurlular, İskitler, Babiller, Persler, Makedonyalılar, Abbasiler, Romalılar, Bizanslılar, Araplar, Selçuklular, Artuklular ve Osmanlılar egemen olmuşlardır. Artukoğulları zamanında Meyyafarikinin (Silvan) kolu kurulmuş ve bu dönemde kent büyük bir imar görmüş, gelişmiştir.
Arkeolog Baron Marvan Oppenheim’in 1911-1929 yılları arasında burada yaptığı kazılarda, Subarilerin Mezopotamya’da (MÖ.4500-3500) yaşadıkları burada ele geçen kalıntılardan anlaşılmıştır. Gırnavaz Ören yerinde 1982 yılında başlayıp, 1991 yılına kadar sürdürülen arkeolojik kazı ve araştırmalar sonucunda Gırnavaz’ın MÖ.4000’den MÖ.VII. yüzyıla kadar sürekli bir yerleşim alanı olduğu anlaşılmıştır.

Sümer Kralı Lugarzergiz MÖ.2850 yılında Akdeniz’e kadar yaptığı seferinde Mardin’i de egemenliği altına almıştır. Şehircilik, sulama ve tarım alanında ileri bir düzeye ulaşan Sümerler Mardin’i Akadlar’a bırakmışlardır (MÖ.2820). Akadlar, MÖ.2500 yıllarında Sümerler’le anlaşarak yörede Akad-Sümer Devletini kurmuşlardır. Bundan sonra Mardin, MÖ.2230’lu yıllarda Elam şehri olmuştur. Hammurabi, Sümer topraklarını Babil’in idaresi altına alınca bu kez de Babil Devleti’ni kurmuş, ardından Yukarı Mezopotamya’ya saldırınca Mardin’i de istila ederek topraklarına katmıştır (MÖ.2200-1925) .
MÖ.1925 yıllarında Mardin’i işgal eden Hititler, bir süre sonra şehri terk etmişlerdir. İran’dan gelen Ari ırkından Midiller, Mardin ve çevresini ele geçirmiştir. MÖ.1367 yılında Midiller arasında iç savaş çıkınca, Asur Kralı Asurobalit, Mardin ve çevresini topraklarına katmıştır. MÖ.1190’da Anadolu’dan gelen diğer bazı Ari ırk kavimleri Mardin’i almışlardır. Ardından I.Tıplatpalasır; Sincar, Nusaybin ve Mardin’den geçerek 20 bin Maşiki kuvvetinin koruduğu Kemecin’e saldırıp onları yenmiş, Mardin yöresini yeniden ele geçirmiştir. MÖ.1060’da I.Asurnasırbal zamanında Hititler birleşerek Gılgamış yakınlarında Asurlular’ı yenmişlerdir. Asurlular yeniden Mardin’i egemenlikleri altına almıştır. Böylece MÖ.800 yılına kadar Asurlular’ın elinde kalan Mardin, daha sonra Urartu Krallığı’nın egemenliğine girmiştir. MÖ.612 yılına kadar Sityaniler, MÖ.618 yılında ise İran’dan gelen Midiller buraları ele geçirmiştir.

MÖ.335 yıllarında Büyük İskender Mısır’ı aldıktan sonra Mezopotamya’ya gelerek İran’a yönelmiş ve bu arada Mardin’i de ele geçirmiştir. İskender’in ölümünden sonra komutanları arasında İmparatorluğu paylaşılırken, Mardin de General Sleukos’un payına düşmüştür (MÖ.311). Mardin ve çevresi (M.Ö.131) Urfa Krallığı (Abgarlar) topraklarına katılmıştır. MS.249’da Roma hükümdarı Filippos, kendisine isyan eden IX.Abgar’ı memleketten kovmuştur. Bundan sonra Şehrin Valiliğine Hapsioğlu Uralyonos tayin edilmiştir. Bu arada Mardin’de Urfa’ya bağlı olduğu için Roma egemenliğine girmiştir.
Bizanslar 640 yılında Hz. Ömer’in kumandanlarından İlyas Bin Ganem’in Mardin’i işgaline kadar varlıklarını sürdürmüşlerdir. Mardin ve çevresi 692’de Emeviler’in, 824’te Halife Memnun zamanında Abbasiler’in hakimiyetine girmiştir. Bu dönemde İslamiyet hızla yayılmıştır. Mervaniler, 990 yılında Musul’da tutunabilen Hamdaniler’in topraklarının yanı sıra Mardin’i de ele geçirmiştir. Bundan sonra Mardin ve çevresindeki çarşıların, camilerin onarılması ve yenilerinin de onlara eklenmesi , ayrıca İpek Yolu’nun da buradan geçmesi şehri ticari açıdan canlandırmıştır.

Malazgirt Savaşı’ndan (1071) sonra Türkmen boylarının yapmış olduğu akınlar, Mervanileri zayıf düşürmüştür. Nusaybin’de Mervanilerin 1089’da yenilmesi ile yöre Selçukluların egemenliği altına girmiştir. Bu arada Artuklular’dan İlgazi Bey Mardin’i 1105’te ele geçirerek Artukoğulları Devleti’nin başkenti yapmıştır. Artuklular bölgede büyük bir devlet kurmuş ve yörede 304 yıl egemenlik kurmuşlardır. Bu dönemde Mardin ve yöresinde çok sayıda cami, medrese, hamam ve kervansaray yapılmış ayrıca birçok cami, medrese ve manastır da onarılmıştır.
XV.yüzyılda güçlenen Karakoyunlular şehri kuşatmış ve 1409’da şehri ele geçirmişlerdir. Ardından Karakoyunluları 1462 yılında yenen Akkoyunlular, Mardin Kalesini ele geçirmişlerdir. XVI.yüzyılın başında Akkoyunlular’ı egemenliğine alan Şah İsmail yörede güçlü bir Safevi Devleti kurmuştur. Mardin hakimi, şehri zulme ve yağmalamaya karşı korumak için kalenin anahtarını kan dökmeden Şah İsmail’e teslim etmiştir.

Yavuz Sultan selim Mısır seferi sırasında, 1517’de Mardin ve yöresini Osmanlı topraklarına katmıştır. Osmanlı döneminde Diyarbekir Beylerbeyliği’ne bağlanmış, uzun süre Diyarbakır-Bağdat ve Musul Sancağı konumunda kalmıştır.

I.Dünya Savaşı ve Kurtuluş Savaşı sırasında işgale uğramamıştır. Cumhuriyetin ilanından sonra il konumunu sürdürmüştür.

saol