Kommittén har beslutat att uttryckligen förbjuda slogans som "Black lives matter" under sommarspelen, rapporterar AP.
Även idrottare som visar stöd för den vänsterextrema BLM-rörelsen genom att exempelvis göra svart makt-tecknet med näven eller gå ned på knä riskerar att straffas.
Mer allmänna budskap som "fred", "respekt", "solidaritet", "inkludering" och "jämlikhet" kommer dock att tillåtas på t-tröjor, skriver AP.
IOK hänvisar att man frågat över 3.500 idrottare om saken och att över 70 procent av dem ansåg att det inte är lämpligt att skylta med sina åsikter under tävlingar.
Kommittén har sedan länge ett förbud mot "demonstrationer eller politisk, religiös eller rasrelaterad propaganda".
En tysk vänstergrupp har dock lovat att ge juridiskt stöd till idrottare som bryter mot reglerna under OS i sommar.