Bayburt Doğu Anadolu'yu Karadeniz'e bağlayan Erzurum-Trabzon tarihi İpek Yolu üzerindedir. Marco Polo ve Türk seyyah Evliya Çelebi bu yoldan geçmişlerdir. Çoruh nehrinin kıyısında bulunan şehrin tarihi M.Ö. 3000'lere kadar uzanır.

Şehrin adı ve ne zaman kurulduğu hakkında ki bilgiler çok kesin değildir. Bu gün bilinen isminin Ortaçağ Ermeni kaynaklarında; Payberd, Bizans kaynaklarında; Payper, Baberd, Paypert. XIII. Yüzyıl sonlarında bu bölgeden geçen Marko Polo’nun seyhatnâme’sinde; Paipurth, Baiburt. Arap kaynaklarında; Bâbirt, II. Mesud adına 1291’de basılan bir parada Baypırt. Akkoyunlu tarihinden bahseden çağdaş eserlerde Pâpîrt şeklinde geçen kelimenin son hecesi Berd’in ”yüksek kale” anlamına geldiği bilinmekteyse de ilk hecesine bir mâna verilememektedir.
1647 yılında şehri ziyaret eden Evliya Çelebi Bayburt adının zengin manasına gelen “Bay” belde manasına gelen “yurt” gibi iki kelime ile izah eder. Osmanlı dönemine ait kaynaklar ise ismi bu günkü söylenişine uygun olarak Bayburt şeklinde kaydederler. 

Bayburt şehrinin tarihi M.Ö.3000’li yıllara kadar uzanmaktadır. Şehir Azziler tarafından kurulmuştur. M.Ö 770-665 yılları arasında Kimmer ve İskitlerin akınına uğramıştır. İskitlerin (Saka TürTkleri) hakimiyetine giren Bayburt 2500 yıllık Türk şehridir. Daha sonra bölge sırasıyla Haldi’ler, Med’ler ve Pers’lerin hakimiyetine girmiştir.

M.Ö. 2. Yy.dan itibaren Pontus Krallığına bağlı olan Bayburt M.Ö. 40 yıllarında Roma hakimiyetine girmiştir.Bayburt ve yöresi Türk’lerin Anadolu da ilk yerleştikleri bölgelerdendir. Kesin Türk hâkimiyeti Malazgirt Zaferi’nden sonra gerçekleşti. Şehir, 1072’den 1202’ye kadar bazen Erzurum yöresinde hüküm süren Saltuklular’ın bazen de Danışmendiler’in hakimiyetinde kaldı Bayburt’un asıl gelişmesi, Süleyman Şahın kardeşi Erzurum Meliki Mugîsüddin Tuğrul Şah ve oğlu Cihan Şah Döneminde oldu.
Bayburt Anadolu Selçuklu Devleti’nin merkezi olan Konya’ya bağlandı. 1243 Kösedağ savaşının ardından Moğulların Anadolu’yu istilası sırasında, şehir yapılan antlaşma gereği Selçuk’lu idaresinde kaldı. Bu durum 1291’de burada II. Gıyâseddin Mesud adına para basılmasından anlaşılmaktadır.
İlhanlılar devrinde gelişen Bayburt, Ceneviz ve Venedik kervanlarının konakladığı bir yerdi. Moğolistan’a giderken buraya uğrayan Marko Polo şehirde zengin Gümüş madenlerinin bulunduğunu belirtir. Burada Mahmudiye ve Yakudiye medreseleri kurulmuş, Mevlevilik gelişme göstermiş, ayrıca Ahilik teşkilatı oldukça yayılmıştı. Uzun süre Akkoyunluların elinde kalan Bayburt ve yöresi 1501’de Safevîler tarafından alındı. Daha sonra Osmanlı kuvvetleri, Sah İsmail’in emirlerinden Kara Maksut-i Sultanının müdafaa ettiği Bayburt’u aldılar (Ekim l5l4).
Bayburt Erzincan ile birlikte Trabzon Beyi Bıyıklı Mehmet Paşa’ya verildi ve bir sancak merkezi haline getirildi. Osmanlı idaresinde Bayburt doğu sınırına yakın bir kale şehir olarak stratejik önemini korudu. Kanûnî’nin İran seferi sırasında önemi daha da artan Bayburt kalesi 1541’de esaslı bir tamir gördü. 1553’te Şah Tahmasb’ın akınlarına marûz kalan şehir XIX. Yüzyıla kadar önemli bir olaya şahit olmadı.
1828-1829 Osmanlı-Rus savaşı sırasında Rus birliklerinin işgaline uğradı. 1878 ve 1916’da Ruslar tarafından işgal edilen Bayburt bu işgaller sırasında geniş ölçüde tahrip edildi.
1927 ‘ye kadar Erzurum’a bağlı olan Bayburt bu tarihte Gümüşhane’ye bağlandı. 21.06.1989 tarihinden itibaren 3578 sayılı yasa ile il statüsüne kavuştu.