Schweizisk media rapporterade under söndagen att 50,3 procent av väljarna hade röstat ja i en folkomröstning om att "stoppa massinvandringen".
Omkring 49,7 procent röstade mot förslaget. Valdeltagandet uppgick till 56 procent.
Stödet för initiativet var som störst i de tyska och italienska delarna av landet. I de franskspråkiga kantonerna var väljarna betydligt mer negativa till minskad invandring.
Schweiz är inte medlem i EU men har en rad avtal med unionen, bland annat gällande den fria rörligheten.
Valresultatet gör att regeringen har tre år på sig att omförhandla avtalet om rörelsefrihet mellan Schweiz och EU. Förslaget innebär dessutom att invandringskvoter införs för EU-medborgare.
EU-kommissionen sade i ett uttalande att EU kommer att ompröva relationerna till Schweiz dess sin helhet.
Redan före valet gjorde flera EU-företrädare, bland annat utrikesminister Carl Bildt, hotfulla uttalanden om vad som skulle hända om schweizarna röstade "fel".
– Schweiz är en viktig partner för EU, men EU en oumbärlig partner för Schweiz. Och då bör man noga överväga vad man gör, hotade EU-kommissionens vice ordförande Viviane Reding i en intervju med Schweiz am Sonntag.
Varje år invandrar 80 000 människor till Schweiz, de flesta från EU. Omkring 23 procent av landets befolkning utgörs av utlänningar, vilket är näst högst i Europa efter Luxemburg.
Anhängare till intiativet anser att den fria rörligheten har ökat pressen på bostäder, hälsovård och transporter. De argumenterar också för att utlänningar sänker lönerna.
Företagsledare hävdar att den fria rörligheten har gjort Schweiz till ett ekonomiskt rikare land.
Enligt BBC:s korrespondent kan övergivandet av den fria rörligheten komma att begränsa Schweiz export till EU.
I somras röstade schweizarna i en annan folkomröstning för minskad asylinvandring. Då var stödet betydligt större fyra av fem schweizare röstade ja till hårdare asylregler.
Så röstade schweizarna:
