Апдейт чекера ссылок и новые онлайн сервисы
И полгода не прошло, как я вспомнил, что у меня вообще-то есть ToDo’шник, а самая старая задача там аж от 26 ноября того года: “Сделать доработки из комментов http://dimax.biz/pro-cheker-ssyilok/“. Сказано - сделано.
Соответственно, новое в чекере ссылок:
- выбор юзерагента, которым чекать ссылки: индексирующие боты яндекса, гугла, маила, бинга и ахрефс, либо несколько стандартных браузерных юзерагентов - лиса, хром, опера, ие;
- экспорт отчетов в .txt формате, либо только адреса страниц со ссылками нужного типа, либо полноценно адреса страниц, плюс сами ссылки - урл и анкор, в качестве разделителя - знак табуляции, будет удобно вставлять в Excel, например.
Друзья, обратите внимание, пожалуйста, что в самом низу отчета чекера есть короткое резюме, которое категорически рекомендуется копировать и вставлять на форумах в топах “прогонщиков”, чтобы, во-первых, сигой светануть, конечно, а во-вторых, запостить качественный во всех смыслах отзыв о работе “прогонщика”, за что другие пользователи скажут вам спасибо. А я буду вам безмерно благодарен, если из этого миниотчета вы не будете удалять линк на сам чекер, ибо надо же ему как-то продвигаться среди тематической аудитории
Ну и, конечно же, если у вас есть какие-то пожелания по чекеру, пишите в комменты.
Стоп, не расходимся пока, это еще не все на сегодня.
Мне понравился факт обладания инструментом, который полезен людям, поэтому я решил не останавливаться на достигнутом и замутить еще немного небольших бесплатных онлайн сервисов:
- парсер заголовков и описаний сайтов - дело было вечером, делать было нечего, а где-то кто-то написал, что ему нужен такой парсер, теперь вот он есть;
- парсер картинок с сайтов - указываете урл, откуда тырить пикчи, и, если необходимо, минимальные размеры нужных картинок (чтобы не парсить мелкие навигационные картинки и иконки всякие), на выходе получаете ZIP-архив с картинками;
- и, наконец, встречайте самый крутой из всех моих сервисов - узнайте свой IP-адрес
Если вам в работе частенько нужен какой-то скрипт, который может быть нужен не только вам одному, то напишите об этом мне, вполне вероятно, что он станет основой для очередного бесплатного онлайн сервиса.
Хороший тырилщик картинок, но вот ещё бы сделать чтобы можно было парсить не по 1 ссылки, а сразу несколько штук хотябы с десяток.
Многопоточная работа парсера приведет к тому, что:
1. сайты будут банить парсер по ипу, после чего никто не сможет парсить эти сайты;
2. кратно числу потоков возрастет нагрузка на хостинг;
3. кратно числу потоков возрастет расход трафика хостинга (он не безлимитный);
В связи с вышенаписанным многопоточная версия в планы заноситься не будет По крайней мере, пока.
можно использовать прокси.
Серьезно? А деньги на прокси кто давать будет? Сервис-то бесплатный. Только не говори, пожалуйста, чего-нибудь в духе “можно и бесплатные прокси парсить, в инете их полно”))
Парсер картинок - безумно полезная вещь! Особенно для тех, кто имеет свои паблики Вконтакте и наполняет их не тупо скопипастенными новостями, а найденными на завалявшихся просторах инета полезностями. Спасибо
Пожалуйста, пользуйтесь)
Урлы жгут)
Нет задержки, а самое обидное - это не сохраняются оригинальные названия файлов, а идет 1..9.
Так не гут
вообще то я и имел в виду бесплатные прокси, в чем проблема то? можно даже textarea сделать и пусь юзер свои прокси вписывает (или найденные бесплатные, чекеров полно).
ну хотя, да, нагрузка на хостинг это да… опять же, можно ограничить по ip количество запросов и/или количество урлов на запрос.
Другое дело, что все это нужно делать, а если тебе лень этим заниматься - то просто честно в этом признайся
Иван, а зачем так напрягаться ради бесплатного сервиса? Получить себе нагрузку на сервак за низачто? Халявщиков много. Я бы конечно еще и исходники опубликовал, чтобы кому нужно заюзали (как я у себя все функции парсеров сео-показателей на ансео), но это дело Димакса.
Не нравится “.php” в конце?))
Эм, какой задержки?
А галочку “Сохранять картинки под “родными” именами?” ты ставил? Она для этого и есть, чтобы под оригинальными названиями картинки сохранять))
Практически нереально найти в паблике бесплатные прокси, которые стабильно работают хотя бы несколько минут, без разрывов и полных аутов (когда прокся отвалилась и не коннектится снова). Такую проксю если и встретишь, то в лучше случае 1 на 100, а скорее, на 1000 плохих.
Но не каждый это поймет и будут думать, что у меня сервис дерьмовый, не парсит или еще чего, не будешь же каждому это объяснять.
Тот же ответ. Да и пока никакой нужды в этом нет.
Лень тут не причем, вон Спрутэ может подтвердить, что прикрутить парсинг через прокси дело пары минут.
вот это точно лес городить, для небольшого бесплатного парсера совершенно ни к чему)
Вообще, те, кто говорят про многоурловый парсинг, прокси и т.п. кажется не совсем понимают, что маленький бесплатный сервис на то и маленький бесплатный сервис, чтобы быть не суперкомбайном для тех, кто для каких-то коммерческих, назовем это так, целей тырит в день 100500 картинок со 100 сайтов.
Вот именно, спасибо.
Этого не будет)