Abdurrahman Gazi ismi Erzurum´da büyük izler bırakmıştır. Şehitlik ve gazilik mertebesine erişmiş bir insan olduğu için O´nun manevi şahsiyeti Erzurumluların daima gönlünde yaşamış, yüce insandır Palandöken Dağı´nın üst yamaçlarında türbesi bulunan ve bir ziyaretgâh yeri olan Abdurrahman Gazi´nin Hazreti Peygamber´in sancaktarı olduğu halk arasında yaygındır.

           Hazreti Muhammed´in İslam Orduları Erzurum´u fethederken, Sancaktarı Abdurrahman Gazi´nin kellesi bir düşman kılıcı ile koparılır ve yere düşer. Kellesini koltuğuna alan Abdurrahman Gazi elinde bulunan İslam’ın Sancağı´nı Palandöken´in en yüce noktasına dikmek üzere dağa yokuşa koşmaya başlar.

            Kellesi koltuğunda, sancağı elinde olan Abdurrahman Gazi Palandöken Dağı´ndaki “Şiğveler"  Mevkii´ne gelince dağda bulunan çobanlar evvela dona kalırlar, sonra biri dayanamayıp:
           -“Olaaa hele bakın şuraya eskerin kellesi koltuğunda dağa doğru koşuyor”
diye bağırmağa başlar. Abdurrahman Gazi Efendimizin Sancaktarı ve Ashaptan evliyaullah bir zat kem göz onu orada nazara getirir ve olduğu yere düşer kalır. Hem gazilik hem de Şehitlik rütbesine ermiştir.

           Palandöken´in Şiğveler tepesi denilen Sultan Sekisi yamaçlarında ruhunu teslim ederken Ona kavuşmaya çalışan kardeşi de Türbe Deresi´nde aynı anda şahadete erişir. Her iki kardeş Erzurum halkı tarafından ruhlarını teslim ettikleri yerde defnedilir. O  tarihten sonda  da Abdurrahman Gazi´nin Kabri Erzurum için büyük bir ziyaret merkezi olur.
Zamanın Valisi Yusuf Ziya Paşa buraya birde Camii yaptırmıştır. Erzurum’a gelip de Abdurrahman Gazi’yi ziyaret etmeyenlerin birdaha Erzurum’a gelecekleri rivayet edilir.