Devlet arşivlerinde adı 1839'dan itibaren geçen Jandarma Teşkilatı, 185 yıldır vatandaşların huzur ve güvenliğini sağlamak amacıyla gece gündüz görev yapıyor. İlk düzenlemesi olan "Asakir-i Zaptiye Nizamnamesi" 14 Haziran 1869'da yürürlüğe giren teşkilat, zabıtanın görev, yetki ve sorumluluklarını hukuki çerçeveye oturttu.
Arşivlerdeki kayıtlara göre, 1839 yılından itibaren "jandarma" ve "jandarma tayin kararnameleri" ifadesine rastlandığı için, teşkilatın kuruluş yılı olarak 1839 kabul edilmektedir. 1877-1878 Osmanlı-Rus Savaşı'ndan sonra Sadrazam Sait Paşa'nın girişimiyle İngiltere ve Fransa'dan subaylar getirilerek modern zabıta teşkilatı kurulmuş, 20 Kasım 1879'da "Umum Jandarma Merkeziyesi" seraskerlik makamına bağlı olarak oluşturulmuştur.
İkinci Meşrutiyet'in ilanıyla 1908'de Rumeli'de gösterdiği başarılar sonucu teşkilat 1909'da yeniden yapılandırılarak "Harbiye Nezareti"ne bağlanmış ve "Umum Jandarma Kumandanlığı" adını almıştır. Hukuki statüsünü 1930'da çıkarılan 1706 sayılı Jandarma Kanunu ile kazanan teşkilat, 1937'de "Jandarma Teşkilat ve Vazife Nizamnamesi"nin yürürlüğe girmesiyle bugünkü yapısının temellerini atmıştır.
1956'da yürürlüğe giren 6815 sayılı Kanun ile sınır, kıyı ve kara sularının güvenliği Jandarma Genel Komutanlığına verilmiştir. İlk Jandarma Bölge Komutanlığı 1961'de Ankara'da kurulmuş, 1968'de Diyarbakır'da Hafif Helikopter Bölük Komutanlığı ile teşkilat havacılık birimine kavuşmuştur.
Görev ve yetkilerinin belirlendiği 2803 sayılı Kanun 1983'te yürürlüğe girmiş, 1989'da ise suç ve suç delillerinin araştırılması amacıyla Jandarma Kriminal Daire Başkanlığı kurulmuştur. 15 Temmuz 2016 darbe girişiminin ardından teşkilat, İçişleri Bakanlığına bağlanarak yeniden yapılandırılmıştır.