Зачем годами долбиться в “404 Not Found”?!

Зарабатываем!, Мысли

Уже 2.5 года прошло с тех пор, как я удалил с одного своего сайта целый раздел, соответственно все адреса вида сайт.ру/удаленный_раздел/*.хтмл перестали существовать и исправно с первого же дня начали отдавать стандартный в таких случаях серверный заголовок “HTTP 404 Not Found”.

Шли дни, недели, месяцы и годы, а боты Гугла все продолжали практически каждый день посещать удаленные страницы, каждый раз получая “HTTP 404 Not Found”. И по сей день продолжают это странное дело.

Нет, я, конечно, знаю, что по спецификации 404 заголовок означает недоступность, но не говорит, что это обязательно навсегда. Для “404 навсегда” есть специальный заголовок “HTTP 410 Gone”, но заморачиваться с ним особого желания нет, потому что зачем делать что-то, если можно ничего не делать, вот почему надо шарить в серверном администрировании, надо перелопатить и внести изменения в скрипты и .htaccess’ы, надо умудриться нигде не накосячить в процессе, чтобы в будущем 410 не вываливалось вдруг там, где должно быть временно 404 по какой-то причине (например, сегодня что-то не отпарсилось, и страница не создалась, а завтра может и отпарситься и страница будет существовать).

Короче говоря, это слишком большой геморрой ради неясной перспективы, так как беглое гугление показывает, что боты гугла все равно будут продолжать постоянно долбиться и при получении 410 заголовка.

Дорогой гуглобот, подумай, разве не очевидно, что если ты в течение нескольких лет посещал какой-то урл, и из 1000 посещений получил ровно 1000 же ответов “HTTP 404 Not Found”, то стоит уже запомнить это нахрен и начать воспринимать 404 по этому урлу исключительно как “HTTP 410 Отвечаю / Мамой клянусь! / Инфа 100% / Больше сюда не приходи, с лестницы спущу” и перестать наконец сюда ходить.

12 комментов

  1. Пози сказал:

    а почему тупо не запретить в роботс?

  2. DimaX сказал:

    Как говорится, я тебя умоляю, когда это роботс мешал гуглу что-то индексировать?) Да и вообще, это аналогичная избыточность, как и 410 заголовок. Но ок, это легко и быстро сделать, добавлю в роботс, чем черт не шутит))

    З.Ы. Ну добавь уже в своей ридер мета тег реферера, тупо же, что трафик с ридера в аналитиках засчитывается как “прямые заходы” (Я.Метрика) или “закладки” (стата Ли.ру).

  3. Devvver сказал и подписался на новые комментарии по e-mail:

    Димакс сделай размер шрифта чуть больше не удобно читать.

  4. Клад сказал и подписался на новые комментарии по e-mail:

    Самому лень правильные коды отдавать, а гугл виноват. Вот народ! Яндекса на тебя с его тормознутостью не хватает)))

  5. Алекс сказал и подписался на новые комментарии по e-mail:

    У одних проблема - заманить робота гугла, у других - его отвадить.

  6. DimaX сказал:

    Димакс сделай размер шрифта чуть больше не удобно читать.

    Зажми CTRL и колесом мышки вверх крутани :) Вроде норм размер, с самого 2006 года стоит))

    Самому лень правильные коды отдавать, а гугл виноват. Вот народ! Яндекса на тебя с его тормознутостью не хватает)))

    Слишком геморно + в посте написано, что это не поможет все равно:

    беглое гугление показывает, что боты гугла все равно будут продолжать постоянно долбиться и при получении 410 заголовка/quote]

    У одних проблема - заманить робота гугла, у других - его отвадить.

    Ну “заманивать” его надо только на доры (на свежереги), на все “белое” он сам прет без остановки))

  7. Devvver сказал и подписался на новые комментарии по e-mail:

    Зажми CTRL и колесом мышки вверх крутани :) Вроде норм размер, с самого 2006 года стоит))

    https://www.youtube.com/watch?v=A-B3RcZMa1A
    Не даром я тебя похожим на Спрута называл :)
    Того 5 лет просили кнопку вверх запилить :)

  8. DimaX сказал:

    https://www.youtube.com/watch?v=A-B3RcZMa1A
    Не даром я тебя похожим на Спрута называл :)
    Того 5 лет просили кнопку вверх запилить :)

    Даром, блять. Если только тебе неудобен шрифт, может это только тебе все же надо очки одеть или сделать, что я сказал выше, чем мне менять шрифт для всех вообще? В ролике своем не разглядел, что после того, что ты сделал, в подзаголовках вверху все из рамок выпало?

    Не хочешь колесо крутить пару раз в год, есть браузерные плагины, которые дают свои стили добавлять к заданным сайтам, можно их заюзать, сделав тоже самое, что ты для ролика сделал, у меня тут нет CSP.

  9. Кирилл сказал и подписался на новые комментарии по e-mail:

    А разве это так много ресурсов отнимает?

    По сути нет смысла об этом волноваться, пусть себе заходит. Ну, дополнительная небольшая нагрузка на сервер, думаю это незначительно.

  10. DimaX сказал:

    А разве это так много ресурсов отнимает?

    По сути нет смысла об этом волноваться, пусть себе заходит. Ну, дополнительная небольшая нагрузка на сервер, думаю это незначительно.

    Я хз, если честно, но если счет таким страницам идет на тысячи, и к каждой из них постоянно зря долбится куча ботов, то вряд ли это совсем никак не сказывается, хоть процентик нагрузки, да добавляет, мне кажется.

  11. Дмитрий сказал и подписался на новые комментарии по e-mail:

    Слушай, твой сервис не работает корректно http://backlinks-checker.dimax.biz/tools/proverka_otveta_servera.php , какую почту тебе писать?

  12. DimaX сказал:

    Слушай, твой сервис не работает корректно http://backlinks-checker.dimax.biz/tools/proverka_otveta_servera.php , какую почту тебе писать?

    Мыло в футере на всех страницах сервисов написано:

    По всем вопросам обращайтесь на e-mail support@backlinks-checker.dimax.biz

    :)

Комментирование доступно только в первые 60 дней после публикации

© 2006-2017 by dimax.biz