Totalt röstade 331 ledamöter för att avsätta Barnier, vilket är långt över de 288 röster som krävdes, rapporterar BBC News.
Misstroendeomröstningen genomfördes bara tre månader efter att han tillträdde som premiärminister, utsedd av president Emmanuel Macron.
Bakgrunden till krisen är Barniers beslut att använda särskilda befogenheter för att driva igenom en budget utan omröstning. Budgeten, som innehöll ett underskottsmål på 60 miljarder euro, kritiserades hårt av både vänstern och högerpartiet Nationell samling. Marine Le Pen, partiledare för Nationell samling, kallade budgeten "giftig för det franska folket".
Michel Barnier har nu lämnat in regeringens avskedsansökan, men väntas sitta kvar som tillförordnad premiärminister tills Macron utser en efterträdare.
Presidenten, som inte direkt påverkas av votumet, förväntas agera snabbt för att undvika en regeringskris – särskilt inför det planerade besöket av USA:s nyvalda president Donald Trump i helgen.
Det politiska dödläget i parlamentet, där inget parti har en majoritet, ser dock ut att fortsätta fram tills nya val kan hållas i juli.
Macron kommer att hålla ett tal till nationen på torsdagskvällen för att adressera den uppkomna situationen.
