Halk arasında Ulu Cami olarak da bilinip, resmi kayıtlardan caminin yapılış tarihi hakkında bir bilgiye rastlanılamamıştır. Bununla birlikte Hızırbey (Ö. 1328) tarafından duvarlar kâgir ve üstü toprak damlı olarak yaptırıldığı düşünülmektedir. 3000 kişinin aynı anda ibadet yapabildiği caminin damında kışın biriken karları atmak için damın bir bölümü açık bırakılmış ve caminin içinde bir kar kuyusu yapılmıştır. Cami, 1814 Eğridir de çıkan yangında yanmıştır. Eğridir mütesellüm ve muhafızı Yılanlıoğlu Şen Ali Ağa tarafından halktan toplanan yardımlarla eski tarzına uygun bir şekilde yeniden inşa edilmiştir. 1883 yılında da Hacı Murat Ağa öncülüğünde çatısı kiremitle örtülmüştür. Caminin minaresi, Dündar Bey Medresesi ile Hızırbey Camii’nin ortak duvarını oluşturan kale surunun kapısı üzerinde inşa edilmiştir. Bu şekliyle oldukça orijinaldir.