Индексацией сайта занимаются роботы поисковых систем, которые тщательным образом сканируют интернет-портал, а затем добавляют полученную информацию в специальную базу. Каждый проиндексированный ресурс сразу же попадает в выдачу поисковиков. Поэтому индексом и называют саму базу. Если же сайт не прошел индексацию, то пользователи не смогут находить его в выдаче поиска.
Индексирование площадки происходит усилиями особых роботов. Для этого парсер осуществляет обработку, чтобы осуществилась индексация конкретного документа. Здесь же активно применяются специальные алгоритмы, которые внедряются поисковиками для более эффективной работы. Происходит морфологический анализ, а затем и инвертирование. После этого осуществляется присоединение к главному индексу. Управлять поисковым ботом практически невозможно. Но можно внести поправки в ограничительные меры, чтобы активировать запрет на конкретные ресурсы, а именно их индексацию. При этом робот может сколько угодно раз посещать тот или иной сайт. Влиять же на это возможно лишь косвенным образом.
Если страница портала обновляется на регулярной основе, то роботы поисковых систем будут достаточно часто посещать ее. Такая процедура может производится даже ежедневно, когда речь заходит о новостных ресурсах. В других случаях робот проверяет содержимое страницы несколько раз в 1-2 недели. Поэтому редко обновляемые интернет-страницы все равно находятся под "присмотром" поисковых ботов, хоть они и проверяются относительно нечасто.
При единоразовом посещении сайта робот поисковика способен обработать до 30 страниц. Делается это во благо самого ресурса, чтобы он не перегружался из-за многочисленных запросов. Чем больше страниц содержит площадка, тем чаще на него будут заходить боты. При этом берется исключительно мизерное количество страниц. Полученная информация накапливается в индексной базе, чтобы результаты выдачи поисковика были актуальными и эффективными. Что касается работы аудитора, то он индексирует ресурсы аналогичным образом. Это же относится и к ранжированию площадок. Аудитор переходит по ссылкам, а затем сканирует и собирает необходимую информацию о сайте. Данные оказываются в базе, причем в дальнейшем они анализируются. Итоговым результатом становится детальный отчет с различными рекомендациями, которые помогут ликвидировать имеющиеся ошибки в отношении каждой отдельной страницы.