Voor het moderne systeem van de prefecturen werd opgericht, was Japan onderverdeeld in enkele tientallen provincies (国, kuni). Elke provincie was verder onderverdeeld in districten (郡, kōri).
De provincies waren aanvankelijk opgericht als administratieve en geografische regio’s. Op het einde van de Muromachi-periode nam hun functie als administratieve onderverdeling gradueel af ten voordele van de domeinen van Sengoku daimyo’s. Onder de heerschappij van Toyotomi Hideyoshi werden de provincies als administratieve eenheden volledig vervangen door de heerlijkheden van de daimyo’s. In de Edoperiode werden deze heerlijkheden bekend onder de naam han. De provincies bleven verder bestaan als geografische onderverdelingen. De bevolking verwees vaak naar een bepaalde plaats door de naam van de provincie te koppelen aan de naam van de han.
Tijdens de Meiji-restauratie werden de han eerst gelegitimeerd als administratieve eenheden maar kort nadien vervangen door de prefecturen. (stadsprefecturen werden fu genoemd en rurale prefecturen ken). In 1871 telde Japan 304 prefecturen en 68 provincies (zonder de provincies Hokkaido en de Riukiu-eilanden). De grenzen tussen de verschillende prefecturen waren zeer gecompliceerd en kwamen niet overeen met deze van de provincies. De prefecturen werden sindsdien geleidelijk aan samengevoegd totdat er 1881 nog 37 over waren. Nadien werden er enkele gesplitst wat een aantal van 45 gaf in 1885. Na de toevoeging van de prefectuur Hokkaido en de prefectuur Okinawa kwam men op het huidige aantal van 47 prefecturen.
Tot op de dag van vandaag zijn de provincies nooit officieel afgeschaft. Buiten het feit dat hun namen nog steeds vaak gebruikt worden door bedrijven en als merk, zijn ze echter volledig in onbruik geraakt.
De provincies werden in kinai (binnen de hoofdstad) en 7 of 8 do (circuits) onderverdeeld.