– Människor var oroliga för den fria rörligheten och invandring, kopplat till vårt självbestämmande, sade Cameron i samband med en pressträff.
Denna oro måste både EU och Storbritanniens kommande regering "fundera på", tillade den avgående premiärministern.
Statsminister Stefan Löfven (S) håller dock inte med sin brittiske kollega i detta avseende.
– Det är en styrka att människor kan arbeta i andra länder under vissa premisser, säger Löfven till TT.