La loi d’organisation militaire du 10 juillet 1791 décide que « les prisons militaires, autant qu’il sera possible, seront toujours séparées des prisons civiles ». La mise en place est longue, plusieurs prisons civiles continuant durant tout le XIXe siècle à recevoir des militaires. En 1803 leur sont ajoutés des « ateliers des travaux publics » et des « ateliers du boulet », puis en 1832 des « maisons militaires centrales de détention, dites pénitenciers militaires » pour les condamnés à plus d’un an de détention.
L'Afrique du Nord devient une terre de bagne militaire : en 1857 s’y trouvent tous les ateliers du boulet (supprimés cette année-là par le nouveau code de justice militaire) et les ateliers de travaux publics. Réunis par une même organisation en 1856, ateliers de travaux publics et pénitenciers forment, avec les compagnies de discipline et les bataillons d’Afrique, l’univers disciplinaire surnommé « Biribi ».
En 1865, l'Annuaire militaire recense aussi en métropole des établissements particuliers: les « prisons cellulaires de correction », pour les détenus récalcitrants, ou une prison pour détenus convalescents de retour d’Algérie, installée à Porquerolles. La répression de la Commune entraîne en 1871-1872 l’ouverture de plusieurs prisons provisoires à Paris et aux environs.
En outre, les « sections d’exclus » mises à disposition du ministre de la Marine en 1889 sont rattachées à celui de la Guerre en 1900. Elles forment deux « sections d’activité » en Afrique du Nord, les hommes transitant par un dépôt à Collioure.
La Première Guerre mondiale voit se multiplier les ateliers de travaux publics. Une circulaire de décembre 1916 forme des « groupes de travailleurs » pour la zone des armées, constitués de militaires emprisonnés. En 1917 sont créées des « sections de répression » à Touggourt, dans le Sud algérien, pour les condamnés « incorrigibles ou dangereux ».
L’après-guerre voit un retour à la situation antérieure, puis une réduction progressive. Le décret du 25 octobre 1926 ne laisse en métropole que les prisons militaires de Paris et Marseille. Ailleurs, les détenus relèveront des prisons civiles.
En Afrique du Nord, les ateliers de travaux publics sont supprimés en 1925 : les peines de travaux publics seront effectuées dans les pénitenciers subsistants. Le nouveau code de justice militaire (1928) ayant aboli cette peine, l’appellation des « établissements pénitentiaires militaires » disparaît en 1929 : ils deviennent des « prisons militaires » comme les autres.
La Seconde Guerre mondiale voit ouvrir ou rouvrir des prisons militaires. À partir de 1945, des établissements sont créés dans la zone d’occupation française en Allemagne et en Autriche.
Les prisons militaires de métropole sont supprimées au 30 novembre 1947, et généralement transférées à l’administration pénitentiaire civile. Les dernières prisons militaires (mis à part les prisons prévôtales, que l’on trouve en particulier outremer) sont celles d’Afrique du Nord (jusqu’à la fermeture de Tunis en 1956), d’Allemagne et d’Autriche (la dernière, Landau, ferme en 1960).