La loi du 28 pluviôse an VIII (17 février 1800) met à la tête de chaque département créé par la loi du 15 janvier 1790 un préfet, chargé de relayer l'action et les instructions du gouvernement central, et instaure une nouvelle circonscription administrative qui se substitue au district, l'arrondissement. Celui-ci est administré par un sous-préfet assisté d'un conseil d'arrondissement.
Le rôle du sous-préfet est alors d'être un agent d'instruction et de transmission, de surveillance et d'exécution. Il peut néanmoins détenir, par délégation du préfet, un certain nombre de pouvoirs propres, par exemple dans le domaine de l'état civil ou de la police administrative (permis de chasse, débits de boissons, loteries…). Sa mission peut s'étendre aux affaires communales (bâtiments communaux, concessions funéraires …).
L’année 1926 est particulièrement riche concernant l’évolution des sous-préfectures sous l’action du gouvernement Poincaré : le décret-loi du 3 août 1926 réalise une déconcentration administrative importante en transférant des pouvoirs des ministres aux préfets et des préfets aux sous-préfets ; ces derniers voient leurs attributions considérablement accrues. Ce transfert de compétences concerne principalement le contrôle sur les administrations communales : le sous-préfet devient, comme le préfet, le tuteur des communes.
Le décret du 26 septembre 1926 relatif à l’organisation de l’administration préfectorale supprime quant à lui, pour des raisons budgétaires, 106 sous-préfectures sur les 286 initiales, aboutissement d’un processus lent mais régulier de resserrement du nombre des arrondissements (qui s’inverse provisoirement pendant la période de Vichy, qui reconstitue 29 arrondissements).
Une réflexion sur le rôle des sous-préfectures est initiée à la suite du lancement en 2007 de la révision générale des politiques publiques (RGPP). Celle-ci a notamment remis en cause le contrôle de légalité et la délivrance des titres officiels effectué par les sous-préfectures. La directive nationale d'orientation des préfectures (DNO) de 2010-2015 a alors préconisé la transformation des sous-préfectures en administrations de mission tournées vers le développement local. La directive nationale d'orientation des préfectures et sous-préfectures 2016-2018 a mis quant à elle l’accent sur leurs missions de protection et de sécurité.
Le rapport déposé en février 2017 au nom de la commission des finances sur la réforme de l'administration sous-préfectorale et sa contribution au maintien de la présence de l'État dans les territoires pointe les difficultés des sous-préfectures (perte de moyens, hétérogénéité du réseau, isolement…). Néanmoins, il préconise leur maintien sous la forme de « sous-préfecture nouvelle génération », c'est-à-dire d'une administration « de mission » au service du développement local.