Enligt hälsoministeriet talesman Ashraf Al-Qidra rymmer våningen en intensivvårdsavdelning och operationssalar.
En läkare på sjukhuset, Fayez Zidane, uppger att bombardemanget riktades mot den tredje och fjärde våningen samt receptionen.
– Det pågår fortfarande beskjutning mot sjukhuset, säger han till AP.
Den israeliska försvarsmakten har ännu inte kommenterat attacken, men har tidigare anklagat Hamas för att avfyra raketer från sjukhus i Gaza och gömma sig i byggnaderna.