robots.txt

Хочу привести несколько советов от Яндекса, Google и других для ускорения индексации сайта.