Апдейт чекера ссылок и новые онлайн сервисы

Зарабатываем!, Сервисы

И полгода не прошло, как я вспомнил, что у меня вообще-то есть ToDo’шник, а самая старая задача там аж от 26 ноября того года: “Сделать доработки из комментов http://dimax.biz/pro-cheker-ssyilok/“. Сказано - сделано.

Соответственно, новое в чекере ссылок:

  • выбор юзерагента, которым чекать ссылки: индексирующие боты яндекса, гугла, маила, бинга и ахрефс, либо несколько стандартных браузерных юзерагентов - лиса, хром, опера, ие;
  • экспорт отчетов в .txt формате, либо только адреса страниц со ссылками нужного типа, либо полноценно адреса страниц, плюс сами ссылки - урл и анкор, в качестве разделителя - знак табуляции, будет удобно вставлять в Excel, например.

Друзья, обратите внимание, пожалуйста, что в самом низу отчета чекера есть короткое резюме, которое категорически рекомендуется копировать и вставлять на форумах в топах “прогонщиков”, чтобы, во-первых, сигой светануть, конечно, а во-вторых, запостить качественный во всех смыслах отзыв о работе “прогонщика”, за что другие пользователи скажут вам спасибо. А я буду вам безмерно благодарен, если из этого миниотчета вы не будете удалять линк на сам чекер, ибо надо же ему как-то продвигаться среди тематической аудитории :)

Ну и, конечно же, если у вас есть какие-то пожелания по чекеру, пишите в комменты.

Стоп, не расходимся пока, это еще не все на сегодня.

Мне понравился факт обладания инструментом, который полезен людям, поэтому я решил не останавливаться на достигнутом и замутить еще немного небольших бесплатных онлайн сервисов:

  • парсер заголовков и описаний сайтов - дело было вечером, делать было нечего, а где-то кто-то написал, что ему нужен такой парсер, теперь вот он есть;
  • парсер картинок с сайтов - указываете урл, откуда тырить пикчи, и, если необходимо, минимальные размеры нужных картинок (чтобы не парсить мелкие навигационные картинки и иконки всякие), на выходе получаете ZIP-архив с картинками;
  • и, наконец, встречайте самый крутой из всех моих сервисов - узнайте свой IP-адрес

Если вам в работе частенько нужен какой-то скрипт, который может быть нужен не только вам одному, то напишите об этом мне, вполне вероятно, что он станет основой для очередного бесплатного онлайн сервиса.

11 комментов

  1. Илюха сказал:

    Хороший тырилщик картинок, но вот ещё бы сделать чтобы можно было парсить не по 1 ссылки, а сразу несколько штук хотябы с десяток.

  2. DimaX сказал:

    но вот ещё бы сделать чтобы можно было парсить не по 1 ссылки, а сразу несколько штук хотябы с десяток.

    Многопоточная работа парсера приведет к тому, что:
    1. сайты будут банить парсер по ипу, после чего никто не сможет парсить эти сайты;
    2. кратно числу потоков возрастет нагрузка на хостинг;
    3. кратно числу потоков возрастет расход трафика хостинга (он не безлимитный);

    В связи с вышенаписанным многопоточная версия в планы заноситься не будет :) По крайней мере, пока.

  3. Иван сказал:

    сайты будут банить чекер по ипу, после чего никто не сможет парсить эти сайты;

    можно использовать прокси.

  4. DimaX сказал:

    можно использовать прокси.

    Серьезно? :) А деньги на прокси кто давать будет? Сервис-то бесплатный. Только не говори, пожалуйста, чего-нибудь в духе “можно и бесплатные прокси парсить, в инете их полно”))

  5. Ляля сказал и подписался на новые комментарии по e-mail:

    Парсер картинок - безумно полезная вещь! Особенно для тех, кто имеет свои паблики Вконтакте и наполняет их не тупо скопипастенными новостями, а найденными на завалявшихся просторах инета полезностями. Спасибо :)

  6. DimaX сказал:

    Парсер картинок - безумно полезная вещь! Особенно для тех, кто имеет свои паблики Вконтакте и наполняет их не тупо скопипастенными новостями, а найденными на завалявшихся просторах инета полезностями. Спасибо :)

    Пожалуйста, пользуйтесь)

  7. Spryt сказал и подписался на новые комментарии по e-mail:

    Урлы жгут)

  8. Devvver сказал:

    Нет задержки, а самое обидное - это не сохраняются оригинальные названия файлов, а идет 1..9.
    Так не гут :(

  9. Иван сказал:

    вообще то я и имел в виду бесплатные прокси, в чем проблема то? можно даже textarea сделать и пусь юзер свои прокси вписывает (или найденные бесплатные, чекеров полно).
    ну хотя, да, нагрузка на хостинг это да… опять же, можно ограничить по ip количество запросов и/или количество урлов на запрос.
    Другое дело, что все это нужно делать, а если тебе лень этим заниматься - то просто честно в этом признайся :)

  10. Spryt сказал и подписался на новые комментарии по e-mail:

    Иван, а зачем так напрягаться ради бесплатного сервиса? Получить себе нагрузку на сервак за низачто? Халявщиков много. Я бы конечно еще и исходники опубликовал, чтобы кому нужно заюзали (как я у себя все функции парсеров сео-показателей на ансео), но это дело Димакса.

  11. DimaX сказал:

    Урлы жгут)

    Не нравится “.php” в конце?))

    Нет задержки

    Эм, какой задержки?

    а самое обидное - это не сохраняются оригинальные названия файлов, а идет 1..9.
    Так не гут :(

    А галочку “Сохранять картинки под “родными” именами?” ты ставил? Она для этого и есть, чтобы под оригинальными названиями картинки сохранять))

    вообще то я и имел в виду бесплатные прокси, в чем проблема то?

    Практически нереально найти в паблике бесплатные прокси, которые стабильно работают хотя бы несколько минут, без разрывов и полных аутов (когда прокся отвалилась и не коннектится снова). Такую проксю если и встретишь, то в лучше случае 1 на 100, а скорее, на 1000 плохих.
    Но не каждый это поймет и будут думать, что у меня сервис дерьмовый, не парсит или еще чего, не будешь же каждому это объяснять.

    можно даже textarea сделать и пусь юзер свои прокси вписывает (или найденные бесплатные, чекеров полно)

    Тот же ответ. Да и пока никакой нужды в этом нет.

    Другое дело, что все это нужно делать, а если тебе лень этим заниматься - то просто честно в этом признайся :)

    Лень тут не причем, вон Спрутэ может подтвердить, что прикрутить парсинг через прокси дело пары минут.

    можно ограничить по ip количество запросов и/или количество урлов на запрос.

    вот это точно лес городить, для небольшого бесплатного парсера совершенно ни к чему)

    Вообще, те, кто говорят про многоурловый парсинг, прокси и т.п. кажется не совсем понимают, что маленький бесплатный сервис на то и маленький бесплатный сервис, чтобы быть не суперкомбайном для тех, кто для каких-то коммерческих, назовем это так, целей тырит в день 100500 картинок со 100 сайтов.

    Иван, а зачем так напрягаться ради бесплатного сервиса? Получить себе нагрузку на сервак за низачто?

    Вот именно, спасибо.

    Я бы конечно еще и исходники опубликовал, чтобы кому нужно заюзали (как я у себя все функции парсеров сео-показателей на ансео), но это дело Димакса.

    Этого не будет)

Комментирование доступно только в первые 60 дней после публикации

© 2006-2024 by dimax.biz