Dow Jones industriindex sjönk 0,1 procent, breda indexet S&P 500 backade 0,4 procent och Nasdaqs kompositindex föll 1,0 procent.
Utvecklingen på börserna ska ses i ljuset av att arbetslöshetssiffrorna i den privata sektorn som presenterades under dagen var bättre än väntat, och att lönesiffror inom den privata sektorn i maj pekar på att arbetsmarknaden återhämtar sig.
De starka siffrorna kan tvinga centralbanken att dra tillbaka sitt krisstöd tidigare än väntat, även om representanter för banken har gjort utfästelser om att det stödet kommer att finnas kvar.
Samtidigt oroar sig investerarna för risken att inflationen ska ta fart och pressa upp räntorna, och på så sätt leda till lägre aktiekurser.