日本行政区划大致分为都道府县(广域型地方公共团体)以及市区町村(基础型地方公共团体)两大层级。现行制度是随着明治新政府于1871年实施废藩置县政策而建立的,法源依据则是1947年施行的《地方自治法》。现今日本全国分为47个一级行政区(即都道府县),其下划设1741个二级行政区(即市区町村),包含市町村(主要依人口而定其为市、町或村)及特别区。日本的地方政府基本上以行政区划为基础设置,称为“地方公共团体”(日语:地方公共団体/ちほうこうきょうだんたい)或“地方自治体”(地方自治体/ちほうじちたい)。包括都道府县、市区町村在内的各地方公共团体,其居民可以选举自己的行政首长与地方议会议员。在市町村、特别区等二级行政区之下,还设有数种不具地方公共团体身份的三、四级行政区划,合称为“町丁”。此外,部分人口庞大的市可依法指定为政令指定都市,拥有若干都道府县下放的政治权力;政令指定都市下设“区”,位阶介于市与町丁之间,但不具地方公共团体身份(类比国内的派出机关如街道办事处),因此其行政首长不民选、也不设置议会。日本全国划分为都、道、府以及县,其下再设立市、町、村以及特别区,均为地方公共团体(地方自治团体),具备施行地方自治的公法人身份。都道府县与町村之间尚有“郡”,在1920年代开始虚级化,虽然目前仍具备地址表记、广域行政圈范围、都道府县议会选举划分等功能,但已不具备地方公共团体的功能。另外,部分偏远地区、离岛地区还会设立都道府县的行政派出机关“支厅”,但在平成大合并后多改制并更名为“县民局”、“振兴局”等。
在都道府县的数量上,目前都和道各有1个(东京都与北海道),府有2个(大阪府与京都府),县有43个。在市制度的演变方面,为因应大都市的产生,1956年创设政令指定都市制度(简称“政令市”),将一些原属都道府县的事务移让给政令市。政令市之下划设“区”(非地方公共团体),地址表记可省略县名。截至2012年,日本全国总共有20个政令市。另外,也设置标准较低、不设“区”、但仍有较多自治权的中核市。在2000年至2015年,还设有自治权介于中核市与普通市之间的特例市;2015年后特例市法规废除,原有的特例市可申请升格中核市,尚未申请的则仍保有过去特例市的权限并被称为“施行时特例市”。在更低层级,则有不属于地方公共团体的两个行政区划等级。三级为町和大字,此町跟二级区划市町村的町在法律上地位不同,并与大字合称町字,为日本三级区划的统称。四级则有丁目、小字;大字小字通常设在较乡村的地区。日本的都道府县按照地理方位、经济联系、居民意识等情况,划分为若干地方。最常见的是八大地方,即北海道、东北、关东、中部、近畿、中国、四国、九州。中部地方因为范围宽广,群山阻隔,各县之间的联系并不紧密,又常细分为北陆、东海、甲信越等3个地方。中国、四国两大地方常被合称为“中四国地方”。九州地方因包含由数座群岛构成的冲绳县,又称为“九州・冲绳地方”。