Henrik Vinge, SD:s presschef, säger till tidningen att partiets riksdagsledamöter har möte på tisdag.
Bakgrunden är gårdagens rapportering om att Mehmet Kaplan ätit middag tillsammans med turkiska islamister och fascister.
Enligt Vinge finns det oro för att allianspartierna kommer att vägra rösta för misstroendeförklaringen om det är SD som lägger fram den.
– Det riskerar helt enkelt att döda frågan, säger han till Expressen.
Kaplan har fått hård kritik för sitt umgänge med turkiska islamister och fascister, bland annat av statsminister Stefan Löfven. Den tidigare MP-riksdagsledamoten Rebwar Hassan är en av dem som kräver att bostadsministern ska avgå.