Trots försök att ställa in hans konsert vann Waters en juridisk strid mot myndigheterna för att hålla evenemanget, även om vissa aspekter av hans show ansågs vara "smaklösa" av förvaltningsdomstolen som godkände showen.
Utstyrseln som visades upp under konserterna den 17 och 18 maj har emellertid i efterhand föranlett en förundersökning om brott.
Att visa nazistiska symboler, som hakkors eller SS-beteckningar, är olagligt i Tyskland, med undantag för pedagogiska och konstnärliga ändamål.
Förundersökningen kommer också att undersöka bilder från Waters tidigare shower i Tyskland för att avgöra om det skett några förändringar i utstyrseln.
De israeliska myndigheterna har också kritiserat Waters för att ha presenterat namn på aktivister som dödats av myndigheter, bland dem den judiska flickan Anne Frank som dog i nazityskt koncentrationsläger och Shireen Abu Akleh, en amerikansk arab som sköts till döds av Israel förra året.
Berlinpolisen kommer att samla in bevis i cirka tre månader innan de överlämnas till den statliga åklagaren för att bedöma om Waters agerande kan betraktas som antisemitism, skriver The Guardian.
