Hip

Мені важко сказати Вам, скільки разів я відповідав на це питання на форумах, так що я подумав, що це дуже хороший матеріал для невеликої статті. Спочатку давайте розберемося, про що ми будемо говорити. “Бот” - це частина програмного забезпечення пошукового сервера, який створений для того, щоб пройти кожну сторінку Вашого сайту, проіндексувати її, і розмістити це в базі даних.
У Google є три відомі боти: Adsensebot, Freshbot і DeepCrawl.

Adsensebot, як Ви могли припустити, використовується для людей, які мають оголошення від Adsense на своїх сайтах. Як тільки з’являється нова сторінка, JavaScript в межах коду Adsense посилає повідомлення Adsensebot, і він прибуде протягом 15 хвилин, щоб проіндексувати сторінку так, щоб вона могла видавати найактуальніші і тематичні оголошення. Але, в цій статті ми поговоримо тільки про DeepCrawl і Freshbot. Читати далі »