Enligt tidningen hade byggnaden brunnit en längre tid när polisen kom till platsen vid 10.00-tiden på lördagen.
Byggnaden, som tidigare använts som scout- och kursgård, var folktom när den fattade eld.
Det var tänkt att 100 invandrare skulle bo i gården men när en av byggnaderna nu brunnit ner räknar man istället med runt 75 personer, enligt SVT Väst.