Mardin'in ne zaman ve kimler tarafından kurulduğu kesin olarak bilinmiyorsa da kuruluşu eski yakın doğu tarihine göre Subariler zamanına kadar dayanmaktadır. Alman Arkeologu Baron Marva Oppenheim'in 1911-1929 yılları arasında yaptığı kazılardan elde edilen sonuçlara göre: Subariler'in Mezopotamya da (MÖ.4500- 3500) yaşadıklarını bu tespite sebep olarak da Sümer ve Babil katları arasında buldukları kiremitleri göstermiştir. Gırnavaz örenyerinde 1932 yılında başlayıp 1991 yilina kadar sürdürülen Arkeolojik kazı ve araştırmalar sonucunda Gırnavaz'ın MÖ.4000'den M.Ö 7. yüzyıla kadar sürekli olarak yerleşme alanı olduğu anlaşılmaktadır.MÖ.4000 sonlarına tarihlenen Geç Uruk Devri, Gırnavaz kalıntılarının en alt kültür tabakasını oluşturmaktadır.Bu Kültür tabakasının üzerinde yer alan Er Hanedanlar Devri Mimari tabakaları daha çok ölü gömme adetleri açısından araştırılmış ve değerlendirilmiştir. Tespit edilen mezarlara göre ölüler bu devirde eski Mezopotamya geleneklerine göre açılan çukurlara dizler karınlarına çekik olarak yatırılmakta daha sonra yakılan hafif ateşle manevi temizlik sağlanarak dünyevi ilişkiler kesilip çukurlar kapatılmaktadır.Mezar içinde şahsi eşya olarak metal silahlar, Metal süs eşyaları ve mühürler kült ve seramik kap örnekleri çok sayıda tespit edilmiştir.

Sümer Kralı Lugarzergiz MÖ.2850 yılında Akdeniz'e kadar uzandığı seferinde Mardin'i hükmü altına almıştır. Şehircilik,sulama ve tarım alanında ileri bir seviyeye ulaşan Sümerler, geniş fetihler sonucu güçlerini kaybedince 30 yıl sonra Mardin'i Akadlar'a bırakmışlardır (MÖ.2820). Akadlar,MÖ.2500 yıllarında Sümerler'le anlaşarak Akad-Sümer Devletini kurmuşlardır. Prof..Dr Ekrem Memiş'in "Eski Çağ Türkiye Tarihi" adlı kitabında: "Mezopotamya'da büyük imparatorluk vücuda getiren Sami Kökenli Akadlar'ın vesikalarından anlaşıldığına göre,MÖ.3000 sonlarında Mardin Merkez olmak üzere Güneydoğu Anadolu bölgesi ile Kuzey Mezopotamya'daki Musul ve Kerkük dolaylarında Hurriler adı ile anılan bir kavim oturuyordu" diye yazar. Mardin,MÖ.2230'lu yıllarda Elam şehri oldu. Amuri ailesinin altıncı ferdi olan Hamurabi, Sümer topraklarınıı Babil'in idaresi altına alınca bu kez de Babil Devleti'ni kurmuş, ardından Yukarı Mezopotamya'ya saldırınca Mardin'i istila ederek topraklarına katmıştır.(MÖ.2200-1925).

MÖ. 1925 yıllarında Mardin'i işgal eden Hititler bir vıl sonra şehri terketmişlerdir. İran dolaylarından gelen Ari Irkından Midiller, Mardin ve çevresini ele geçirmiştir. 500 yıl hüküm süren Midiller bilinmeyen bir sebepten Mısır'lılara vergiye bağlanmışlar ve bir Midil prensesini de Mısır Firavunu île evlendirmişlerdir. MÖ. 1367 yılında Midiller arasında iç savaş çıkmış, bunu fırsat bilen Asur Kralı Asuri Balit Mardin ve çevresini topraklarına katmıştır. MÖ. 1190'da Anadolu'dan gelen bazı Ari ırk kavimleri Mardin'i almışlardır. 60 yıl sonra I.Tıplalpalasır, Sincar, Nusaybin ve Mardin'den geçerek 20 bin Maşiki kuvvetinin Koruduğu Kemecin'e' saldırıp onları yendikten sonra Mardin ve çevresini tekrar ele geçirmiştir. MÖ.1060'da I.Asurnasırbal zamanında Hititler birleşerek Gılganuş yakınlarında Asurlular'ı yenmişlerdir.Asurluların tekrardan kuvvetlenmeleri üzerine, Mardin Asur hakimiyetine girmiştir.MÖ.800 yılına kadar Asurluların elinde kalan Mardin daha sonra Urartu Krallığı egemenliğine geçmiştir.Urartu Kralı Mimes zamanında Mardin 50 yıl Urartu idaresinde kalmıştır.