Мені важко сказати Вам, скільки разів я відповідав на це питання на форумах, так що я подумав, що це дуже хороший матеріал для невеликої статті. Спочатку давайте розберемося, про що ми будемо говорити. “Бот” - це частина програмного забезпечення пошукового сервера, який створений для того, щоб пройти кожну сторінку Вашого сайту, проіндексувати її, і розмістити це в базі даних.
У Google є три відомі боти: Adsensebot, Freshbot і DeepCrawl.

Adsensebot, як Ви могли припустити, використовується для людей, які мають оголошення від Adsense на своїх сайтах. Як тільки з’являється нова сторінка, JavaScript в межах коду Adsense посилає повідомлення Adsensebot, і він прибуде протягом 15 хвилин, щоб проіндексувати сторінку так, щоб вона могла видавати найактуальніші і тематичні оголошення. Але, в цій статті ми поговоримо тільки про DeepCrawl і Freshbot.

Freshbot ходить по найпопулярніших сторінках на Вашому сайті. Не має значення, будь то одна сторінка або тисячі. Сайти подібно Amazon.com і CNN.com мають сторінки, які обходяться ботом кожні десять хвилин, після того, як Google дізнався, що ці сторінки мають певну кількість частих змін. Типовий сайт повинен чекати відвідини Freshbot кожні 1 - 14 днів, залежно від того, наскільки популярні сторінки. Що трапляється з Вашим сайтом при відвідинах Freshbot? Всі, навіть дуже глибокі, посилання розміщуються в базу даних так, щоб, DeepCrawl зміг проїндексировать ваш сайт.

Один раз в місяць, DeepCrawl відвідує Ваш сайт і пробігається через всі посилання, знайдені Freshbot. Це причина, по якій може бути потрібно до місяця для повної індексації сайту. Так будьте терплячі, постійно оновлюйте зміст Вашого сайту і працюйте над отриманням цінних зовнішніх посилань - Google винагородить Вас за це.