Harput’ta Alaca Mescit'in sol tarafından bir iki metre aşağı indikten sonra kayalar üzerinde küçük bir kapı görülür. Bu Arap Baba Türbesi'nin kapısıdır. Türbe dikdörtgen şeklindedir. Zeminin tam ortasında yeşil kumaşla örtülü tahtadan bir sanduka içerisinde Arap Baba’nın cesedi bulunur. Cesedin başı yoktur. Sonradan buraya kesik bir baş konmuşsa da kesik başın cesetle hiç bir ilgisinin olmadığı görülür. Bütün uzuvlarıyla olduğu gibi varlığını sürdüren cesedin göğüs ve karnı nispeten çökmüş, özellikle el ve ayakları tırnaklarına varıncaya kadar şaşılacak bir biçimde sağlamdır. Cesedin uzun zaman mumyalanmış olduğu ifade edilmişse de bu konuda yapılan çalışmalarda sağlıklı bir sonuca varılamamıştır.

Arap Baba hakkında pek çok efsane anlatılmaktadır. Bunlardan en fazla söyleneni şöyledir. Harput ve yöresine bir yıl yağmur yağmaz. Kuraklık ardından da kıtlık kapıya dayanır. Halk perişandır. Alaca Mescit'in yakınlarındaki bir evde Selvi adlı yaşlı bir kadın rüyasında Arap Baba’nın başı kesilip de bir dereye atılırsa yağmur yağacağını görür. Yaşlı kadın önceleri buna pek bir anlam veremez. Ancak aynı rüyayı üç gece üst üste görünce karar verir ve bir gece Arap Baba’nın cesedinin başını gövdesinden ayırır. Kesik başı dereye atar. Gerçekten de yağmur yağmaya başlar. Ama ne yağmur... Yağmur değil adeta tufan. Dereler coşar, her yanı sel basar ve bir türlü dinmek binmez. Yağmuru dört gözle bekleyen insanlar bu sefer de bu felaket karşısında muzdarip olurlar. Selvi kadın rüyasında Arap Baba’nın kesilen başı yerine konulursa yağmurun dineceğini görür. Arar, bir kesik baş bulur, yerine koyar yağmur durur. Harputlular bu olay üzerine Selvi kadının korkunç bir hastalığa yakalanarak günlerce ızdırap çektiğini sonra da öldüğünü söylerler.