Die Bundesagentur gliedert sich in eine Zentrale auf der oberen Verwaltungsebene, Regionaldirektionen auf der mittleren Verwaltungsebene und Agenturen für Arbeit auf der örtlichen Verwaltungsebene. Die Bundesagentur kann besondere Dienststellen errichten.
Die Regionaldirektionen tragen Verantwortung für den Erfolg der regionalen Arbeitsmarktpolitik. Zur Abstimmung der Leistungen der Arbeitsförderung mit der Arbeitsmarkt-, Struktur- und Wirtschaftspolitik der Länder arbeiten sie mit den Landesregierungen zusammen.