Зачем годами долбиться в “404 Not Found”?!
Уже 2.5 года прошло с тех пор, как я удалил с одного своего сайта целый раздел, соответственно все адреса вида сайт.ру/удаленный_раздел/*.хтмл перестали существовать и исправно с первого же дня начали отдавать стандартный в таких случаях серверный заголовок “HTTP 404 Not Found”.
Шли дни, недели, месяцы и годы, а боты Гугла все продолжали практически каждый день посещать удаленные страницы, каждый раз получая “HTTP 404 Not Found”. И по сей день продолжают это странное дело.
Нет, я, конечно, знаю, что по спецификации 404 заголовок означает недоступность, но не говорит, что это обязательно навсегда. Для “404 навсегда” есть специальный заголовок “HTTP 410 Gone”, но заморачиваться с ним особого желания нет, потому что зачем делать что-то, если можно ничего не делать, вот почему надо шарить в серверном администрировании, надо перелопатить и внести изменения в скрипты и .htaccess’ы, надо умудриться нигде не накосячить в процессе, чтобы в будущем 410 не вываливалось вдруг там, где должно быть временно 404 по какой-то причине (например, сегодня что-то не отпарсилось, и страница не создалась, а завтра может и отпарситься и страница будет существовать).
Короче говоря, это слишком большой геморрой ради неясной перспективы, так как беглое гугление показывает, что боты гугла все равно будут продолжать постоянно долбиться и при получении 410 заголовка.
Дорогой гуглобот, подумай, разве не очевидно, что если ты в течение нескольких лет посещал какой-то урл, и из 1000 посещений получил ровно 1000 же ответов “HTTP 404 Not Found”, то стоит уже запомнить это нахрен и начать воспринимать 404 по этому урлу исключительно как “HTTP 410 Отвечаю / Мамой клянусь! / Инфа 100% / Больше сюда не приходи, с лестницы спущу” и перестать наконец сюда ходить.
а почему тупо не запретить в роботс?
Как говорится, я тебя умоляю, когда это роботс мешал гуглу что-то индексировать?) Да и вообще, это аналогичная избыточность, как и 410 заголовок. Но ок, это легко и быстро сделать, добавлю в роботс, чем черт не шутит))
З.Ы. Ну добавь уже в своей ридер мета тег реферера, тупо же, что трафик с ридера в аналитиках засчитывается как “прямые заходы” (Я.Метрика) или “закладки” (стата Ли.ру).
Димакс сделай размер шрифта чуть больше не удобно читать.
Самому лень правильные коды отдавать, а гугл виноват. Вот народ! Яндекса на тебя с его тормознутостью не хватает)))
У одних проблема - заманить робота гугла, у других - его отвадить.
Зажми CTRL и колесом мышки вверх крутани
Вроде норм размер, с самого 2006 года стоит))
Слишком геморно + в посте написано, что это не поможет все равно:
Ну “заманивать” его надо только на доры (на свежереги), на все “белое” он сам прет без остановки))
https://www.youtube.com/watch?v=A-B3RcZMa1A
Не даром я тебя похожим на Спрута называл
Того 5 лет просили кнопку вверх запилить
Даром, блять. Если только тебе неудобен шрифт, может это только тебе все же надо очки одеть или сделать, что я сказал выше, чем мне менять шрифт для всех вообще? В ролике своем не разглядел, что после того, что ты сделал, в подзаголовках вверху все из рамок выпало?
Не хочешь колесо крутить пару раз в год, есть браузерные плагины, которые дают свои стили добавлять к заданным сайтам, можно их заюзать, сделав тоже самое, что ты для ролика сделал, у меня тут нет CSP.
А разве это так много ресурсов отнимает?
По сути нет смысла об этом волноваться, пусть себе заходит. Ну, дополнительная небольшая нагрузка на сервер, думаю это незначительно.
Я хз, если честно, но если счет таким страницам идет на тысячи, и к каждой из них постоянно зря долбится куча ботов, то вряд ли это совсем никак не сказывается, хоть процентик нагрузки, да добавляет, мне кажется.
Слушай, твой сервис не работает корректно http://backlinks-checker.dimax.biz/tools/proverka_otveta_servera.php , какую почту тебе писать?
Мыло в футере на всех страницах сервисов написано:
:)