Идеология дорвеестроения

Нафига оно спрашивается дергает robots.txt со старых (похоже забаненных) сайтов???
Кроме robots.txt ничего на них не кушает….
На robots.txt у меня отдается 404
Мож фильтр по GET запросу??

Yahoo.com сменили дизайн
Вдогонку приправили новым серч-оператором
otters site:youtube.com
-показывает видео с сайта, дабы “deliver a better multi-media search experience”
Добавили, думается мне, выбор контекста запроса для уточнения многозначных терминов.
Вот к примеру http://search.yahoo.com/search?fr=fa_blog&sado=1&p=united+nations
Забавно кстати, я уже думал что такой фичи как раз не хватает.
В дорвейной области тоже они накрутили чегото - раньше удавалось скормить яхе сотни тысяч […]

19 Июля Яху отрапортовало об Апдейте:
Мы надеемся, что обновления будут завершены до конца недели
Значит чтото там должно поменяться. Но я что-то пока ничего не заметил.

ПО данным Yahoo! Search Blog роботы-краулеры Яху поменяли имена в обратной зоне. Раньше они обратно-резольвились в inktomisearch.com, сейчас в crawl.yahoo.net.
Например адрес 74.6.67.218 резолвится в lj612134.crawl.yahoo.net. Параноидальные буржуи рекомендуют также резолвить это имя обратно, чтобы убедится, что результат совпадет с айпишником - тогда это точно Яху!
Ну и естесно только с юзер-агентом “Yahoo! Slurp”
Если не […]

Интересная вещь сегодня со мной приключилась.
Начать, наверное, нужно с того, что я уже вот недели три точно доры не разглядывал. Смотрел только каждый день статистики (ну а как же без этого), смотрел изредка количество проиндексенных. И жил у меня спокойненько всегото навсего один домен. Хорошо жил. Неделю назад перевалил за 1.5 ляма в индексе. Ну […]

Но и по диапазону айпи
Забанил все страницы всех доров на одном серваке. Сейчас там не вылазит вообще ничто.
Самое интересное что остался таки один дор с контентом в индексе яхи - НО - этот контент дор набирал на другом айпи на другом серваке. Яхо скинуло все паги собранные на палевом сервере - а то что […]

Продолжаю цикл постов о Yahoo.
Напомню что я был в совершеннейшей растерянности от странного поведения робота Yahoo.
Сегодня мне удалось-таки совершенно случайно разгадать, что же стоит за таким неестественным поведением поискового робота.
- Зачем роботу дергать страницы чужих непонятных доменов с моего сервера, подставляя при этом в заголовке Host разные непонятные (но существующие) белые(!!!) домены?
Было у меня […]

Ранее я уже сообщал про такое грустное явление, как SlurpConfirm404. Так вот Оно не хочет успокаиваться!!!
Новый бот ходил и раньше, я просто не обращал на него должного внимания. А тут вот поглядел в логи у ужаснулся.
По дорвеям активно ходит странный бот. Представляется все как положено - Yahoo Slurp бла-бла-бла. Адресов много - похоже что […]

Жалобы:
Бот Яхи (Yahoo Slurp) начал дергать с сайта несуществующие страницы, да еще такие которых у вас отродясь не было.
Ну вот к примеру, что я со своего лога насобирал.
GET /SlurpConfirm404/DeeenasPage/fantasy/arthur.htm
GET /SlurpConfirm404/alt/center.htm
GET /SlurpConfirm404/seraphin/pawprints.htm
GET /SlurpConfirm404/czech/IWC/ANGELSCLOUD.htm
GET /SlurpConfirm404/sommaire_general/fipfedmqr.htm
GET /SlurpConfirm404/affiliations/perfect4u.htm
GET /SlurpConfirm404/tourbegins/coral/cookiejar.htm
GET /SlurpConfirm404/thepartycd.htm
GET /SlurpConfirm404/stardes/wtrs250299cg/inside.htm
GET /SlurpConfirm404/toyota.htm
GET /SlurpConfirm404.htm
GET /SlurpConfirm404/brown/permissions/Aternyde.htm

Официальный диагноз - Вольный перевод фрагмента яхиного фака
Ваш робот запрашивает странные УРЛы, которых нет на моем […]