I ett PM på fredagen sa Austin också att han återkallat behörigheten för den tjänsteman som ansvarar för militärdomstolen som undertecknade avtalet på onsdagen.
Det ursprungliga avtalet, som enligt uppgift skulle ha skyddat de påstådda terroristerna från dödsstraff, kritiserades av några av de anhöriga till offren.
Attackerna den 11 september i New York, Virginia och Pennsylvania var de dödligaste attackerna på amerikansk mark sedan den japanska attacken 1941 på Pearl Harbor,, där 2.400 människor omkom.
Attackerna utlöste "kriget mot terrorismen" och den påföljande amerikanska invasionen av Afghanistan. Attackerna användes också som argument när den amerikanska Israellobbyn till sist förmådde den dåvarande Bushadministrationen att invadera Irak, trots att landet saknade kopplingar till attackerna den 11 september,
I sitt PM igår nämnde Austin fem åtalade, inklusive den påstådda huvudmannen Khalid Sheikh Mohammed, som alla hålls fångna i Guantánamo Bay på Kuba.
Den ursprungliga uppgörelsen namngav tre män.
"Min bedömning är att ett beslut om åtalsunderlåtelse – mot bakgrund av hur viktigt det är i det här fallet – bör vila på mig som överordnad myndighet", skriver Austin i sin PM till brigadegeneral Susan Escallier.
"Jag återkallar härmed din befogenhet med omedelbar verkan. Genom användning av min befogenhet annullerar jag även de tre besluten om åtalsunderlåtelse", skriver Austin vidare.
Vita huset sa på onsdagen att det inte hade spelat någon roll i överenskommelsen.
De fem män som namngavs i promemorian var: Khalid Sheikh Mohammed, ofta kallad KSM, Walid Muhammad Salih Mubarak bin Attash, Mustafa Ahmed Adam al-Hawsawi; och två andra som inte nämns i den ursprungliga versionen: Ramzi bin al-Shibh och Ali Abdul Aziz Ali.
Männen har suttit häktade i decennier utan rättegång. Alla har uppgett att de torterats. Khalid Sheikh Mohammed utsattes exempelvis för skendränkning, så kallad "waterboarding", 183 gånger innan det förbjöds av den amerikanska regeringen.
En advokat på Guantanamo som representerar Mohammed sa till The New York Times att han var chockad över den plötsliga u-svängen.
"Om försvarsministern utfärdade en sådan order är jag, med all respekt, djupt besviken över att regeringen efter alla dessa år fortfarande inte har lärt sig hur man hanterar det här fallet", säger advokaten Gary Sowards.
Männen kommer nu att åtalas för en rad brott, inklusive attack mot civila, mord i strid med krigslagarna, kapning och terrorism.
South Carolinas senator Lindsey Graham sade å sin sida att beslutet tydde på "utövade ett gott omdöme".
– Det tidigare överenskommelsen skulle ha skickat helt fel signal till terrorister över hela världen, tillade han.
