Как нужно (и нужно ли) требовать от Yandex, Google, Rambler проиндексировать сайт? Наиболее частыми вопросами чайников бываю в этом отношение таковы: Почему Яндекс (Google, Rambler, и т.д.) не индексирует мой сайт? Как заставить его проиндексировать сайт? Как быстро поиметь большую аудиторию на своем не нужном сайте, Да именно не нужном потому что на нем не чего нету что ищут пользователи.
В информацию для новичков ,то есть кто создал сайт например в системе ucoz не следует спешить за ранние вас предупрежу..дело в том что система ucoz некоторое нововведение для вашей же пользы..в течение первого месяца ваш сайт закрыт для поисковиков, бывает и всего на пару недель..все зависит как только вы потребуете обновится файл.maps в меню поиска на сайте..Но опять же не советю вам этого делать так как робот зайдет на ваш сайт на котором нету контекста,тоесть саит не заполнен и как понятно всем индексировать и нечего, кроме пару жалких статей. Робот зайдет 1 раз потом второй раз..а контекст сильно не изменился и смысл заходить часто у него не будет..тоесть он запомнит ваш саит и сколько раз нужно заходить на ваш саит,исходя из этого понятно что индексация будет сделана в пустую и не принесет не какого результата так как ее просто не будет..тем более если вы копируйте с саитов на которых этот же текст увидели и запомнили роботы поисковики..и индексированию как правило данный текст на вашем саите не подлеж..Так что делайте вывод с того как лучше начать и предоставить информацию страниц вашего саита,Но делать это чисто для робота поисковика не стоит, делайте это для пользователя своей аудиторий, которая нацелена именно на вашу тематику сайта и материала саита.
Вероятность того что есть несколько причин, по которым сайт не индексируется.
1. Прошло недостаточно времени с момента заполнения формы добавления сайта. Самый Шустрый робот у Яндекса. Если он не загружен, то добавляемая страница появляется в результатах поиска уже через 3 часа, все зависит от обстоятельств. Большинство страниц попадают в индекс не позже, чем через неделю с момента добавления а бывает и растянуто на долгие месяцы в пределах до 2 . У остальных поисковиков время обновления индекса существенно примерно так же растянуто -- можно начинать беспокоится месяца через полтора. И делать выводы оптимизаций вашего сайта.
2. В момент визита робота поисковика сайт был недоступен или имел очень большое время отклика. Если сервер "тормозит" не постоянно, то рано или поздно сайт попадёт в поисковик. Через какое время – смотрите выше пункт 1.
3. Одни поисковики (к примеру, Google) индексируют только те сайты, на которые есть хотя бы одна внешняя ссылка с документа, уже проиндексированного данным поисковиком.(вот почему заводим тему об обменах ссылками но именно с сайтами одной тематики)
4. Некорректная настройка сервера. Самая распространённая ошибка среди любителей использовать .htaccess (Система ucoz не дает пользователю использовать ) -- в результате применения директив ErrorDocument или RewriteRule робот поисковика при обращении к robots.txt получает от сервера код отличный от 200(OK) или 404 (Not Found). Некоторых роботов (Rambler) это вводит в ступор и индексация не произойдёт до тех пор, пока не ошибка не будет исправлена. Как избежать ошибки: в случае использования ErrorDocument всегда создавать robots.txt (файл текставой просто пустой с названием robots и расширением txt , что при сохранений выглядит именно вот так robots.txt) после его достаточно залить в корень саита … хотя бы и пустой, в случае использования RewriteRule быть аккуратным и всегда проверять код ответа сервера.
5. Неправильно написанный robots.txt. При попытке запретить индексацию сервера для какого-либо робота под правило попадают и другие роботы. Как избежать ошибки? Всегда проверять правильность составления robots.txt.
6. Поисковик не может распознать ссылки на страницах сайта. Самый распространенный случай -- все ссылки сделаны на JavaScript или на Flash (в основном флэш сайты робот просто не понимает, по этому с внимнаием относитесь к тому каков ваш саит будет и на каких скриптах работать!). Некоторые поисковики неадекватно понимают редиректы. Наиболее "безопасен" в этом смысле Google -- он отлично справляется как со ссылками на флэше, так и с редиректами, и лишь JS ему еще не совсем по зубам , Хотя эта проблема возможно уже решена,роботы становятся на много усовершенствование .
7. Сайт был забанен.(что часто бывает по ошибке поисковика ,к примеру и за рекламных попандеров.и.т.д) В таком случае необходимо написать письмо в службу поддержки поисковика с просьбой о включении сайта в индекс.Писать нужно без ошибок и в течение 3 суток вы получите положительный ответ в большинстве случаем и через пару недель увидите первых посетителеи через поисковик
8. Проблемы у поисковика. Серьезные сбои редки, но случаются, и если избыточность аппаратуры оказывается недостаточной, часть индекса теряется. Кроме того, проблемы могут быть связаны с кластерной структурой поисковика.
9. Использование динамических страниц. Это будет раскрыто в отдельном пункте FAQ, а пока можно заметить, что динамические страницы индексируются нормально далеко не всеми поисковиками. Почему? Динамика несет два вида проблем. Первая -- дублирование информации. Если для сайта URL вида .../page.php?par1=x&par2=y означает, как правило, то же, что и .../page.php?par2=y&par1=x, то для поисковика это совсем другая страница. Особенно часто эта проблема возникает при отслеживании сессий посетителей -- роботы поисковиков не используют cookies, и потому URL для них каждый раз меняется. Вторая проблема -- робот может легко перегрузить сайт, который формирует страницы динамически тем что он его будет постоянно сканировать.Что происходит и в системе ucoz. Единственное что помогает роботу то что на каждую новость существует ссылка где URL не изменяется а остается тем же, и в окончание новшеств для системы ucoz человеко понятный URL тоесть транслирование Русского шрифта где пробелы заменяются подчеркиванием что делает ссылку понятной не только для робота.
10. Сайт находится в неиндексируемой зоне. У каждого поисковика есть своя "область действия", например, Яндекс и Рамблер охватывают русскоязычную часть интернета. Поэтому, если сайт не входит в соответствующие доменные зоны (например, su, ru, am, az, by, ge, kg, kz, md, tj, ua, uz для Яндекса; ru, su, ua, by, kz, kg, uz, ge для Рамблера), то автоматическая индексация может не пройти. В таком случае необходимо написать письмо в службу поддержки поисковика с просьбой о включении сайта в индекс.
Многие крупные поисковики Сторонятся бесплатных хостингов и даже таких как наш ucoz и им подобных с сотнями тысяч сайтов, равно как и редиректных служб (таких, как da.ru) и если ваша страница расположена на одном из подобных хостингов, индексации можно ждать вечно.Но как видно саит имеет удачу тот который не нарушает правила нормальности контекста материала ,где саит не напичкан pop, up pop рекламой ,баннерами и всплывающими окнами с редиректом на сайты порно..Многие не могут отказаться от них так как это единсвеное что приносит доход саиту…Мой совет прост, раскрути сначала саит а потом на нем зарабатывай, иначе успеха не видать в раскрутки своего проекта ну и соотвествено не видать должного дохода с рекламы ..
