Orsaken är rädsla för ökad spridning av coronaviruset.
Enligt nyhetsbyrån ska regeringen kommit fram till att det inte är möjligt att ta emot åskådare från världen över med tanke på rådande pandemi samt upptäckten av fler smittsamma varianter.
En färsk opinionsundersökning visar att 77 procent av japanerna är emot att släppa in utländska åskådare på OS-arenorna.
OS invigs den 23 juli och Paralympics startar den 24 augusti.