Robert Sesselmann fick 52,8 procent av rösterna i omvalet och tar därmed över som lantråd i regionen Sonneberg i Thüringen.
Detta trots att alla andra partier, med stöd av NGO:er och delar av det så kallade näringslivet, hade slutit sig samman i en "enhetsfront" för att göra allt för att han skulle förlora valet.
Hans motståndare, kristdemokraten Jürgen Köpper, fick nöja sig med 47,2 procent.
Det är första gången som invandringskritiska AFD får toppositionen i en tysk region, rapporterar Bild.
Valresultatet ett "hot mot demokratin"
Thüringens inrikesminister och socialdemokratiska ordförande Georg Maier beskriver valresultatet som en "larmsignal för alla demokratiska krafter". Nu är det enligt politikern dags att "lägga partipolitiska intressen åt sidan och tillsammans försvara demokratin".
AFD har på sistone rusat i opinionen på nationell nivå. I mätningarna ligger AFD nu på runt 20 procent och är jämnstora med socialdemokraterna, men mindre än kristdemokraterna.