Slottet, som var från 1300-talet, brann upp för två veckor sedan efter att två cigarettrökande romska pojkar råkat starta branden, skriver EUbusiness.
Pojkarna åtalades inte, och sedan dess har det varit spänt mellan bybor i Krasnohorske Podhradie, en till slottet närbelägen by, och den romska gruppen som bor i en illegal kåkstad intill.
Branden har slagit hårt mot turismen i en trakt där en av tre är arbetslös. Ungefär hälften av byborna i Krasnohorske Podhradie är romer, och trots att några har integrerat sig lever de flesta i kåkstaden.
En som har reagerat är Marian Kotleba, partiledare för det nationalistiska partiet Our Slovakia, som nu införskaffat marken som kåkstaden ligger på, enligt uppgift för att "ställa saker och ting till rätta".
Officiellt finns det 106.000 romer i Slovakien, men forskare tror att siffran är betydligt högre, möjligen ända upp till 350.000.