Идеология дорвеестроения

Нафига оно спрашивается дергает robots.txt со старых (похоже забаненных) сайтов???
Кроме robots.txt ничего на них не кушает….
На robots.txt у меня отдается 404
Мож фильтр по GET запросу??

Yahoo.com сменили дизайн
Вдогонку приправили новым серч-оператором
otters site:youtube.com
-показывает видео с сайта, дабы “deliver a better multi-media search experience”
Добавили, думается мне, выбор контекста запроса для уточнения многозначных терминов.
Вот к примеру http://search.yahoo.com/search?fr=fa_blog&sado=1&p=united+nations
Забавно кстати, я уже думал что такой фичи как раз не хватает.
В дорвейной области тоже они накрутили чегото - раньше удавалось скормить яхе сотни тысяч […]

19 Июля Яху отрапортовало об Апдейте:
Мы надеемся, что обновления будут завершены до конца недели
Значит чтото там должно поменяться. Но я что-то пока ничего не заметил.

Не знаю какой черт меня дернул. Но вот потянуло меня попробовать ссылки попродавать.
Давай вспоминать куда…. Какая то морда или харя… а вот sape.ru на se.ru линку нашел.
Вроде несложно с кодом вставки выглядело. Но геморою конешно тоже я словил, када пытался добавить сайт, а их база лежала. Ошибка говорит, и все! - я уже […]

Предлагаю Вашему вниманию партнерскую программу AffiliateCube.com. Она представляет собой интернет-магазин по продаже товаров +
интернет-магазин по продаже услуг (2 в 1). Это означает, что вебмастер получает 75% не только от продаж (sales) какого-либо товара, но и 75% за
выполнение серфером какого-либо действия (lead): заполнение формы с e-mail/zip/etc.
Большое количество категорий товаров/услуг, не заюзаных доорвееводами, дает великолепную возможность им […]

Задачка
Угадайте с первого раза, что это такое. Исходные данные (txt 2kb).
Подсказка: я не работаю с высокочастотниками.
- ээ гмммм
- Сомневаетесь?
Проверим айпи:
OrgName: Microsoft Corp
OrgID: MSFT
Address: One Microsoft Way
City: Redmond
StateProv: WA
PostalCode: 98052
Country: US
Ну вопщем то вывод налицо - это хитробот. Или умными словами - патрульный робот системы определения […]

Но и по диапазону айпи
Забанил все страницы всех доров на одном серваке. Сейчас там не вылазит вообще ничто.
Самое интересное что остался таки один дор с контентом в индексе яхи - НО - этот контент дор набирал на другом айпи на другом серваке. Яхо скинуло все паги собранные на палевом сервере - а то что […]

Интересная фигня получается.
Мы продаем траф 7search ‘у.
А буржуи за нами этот же траф покупают и продают гуглу!!!

Ранее я уже сообщал про такое грустное явление, как SlurpConfirm404. Так вот Оно не хочет успокаиваться!!!
Новый бот ходил и раньше, я просто не обращал на него должного внимания. А тут вот поглядел в логи у ужаснулся.
По дорвеям активно ходит странный бот. Представляется все как положено - Yahoo Slurp бла-бла-бла. Адресов много - похоже что […]

Жалобы:
Бот Яхи (Yahoo Slurp) начал дергать с сайта несуществующие страницы, да еще такие которых у вас отродясь не было.
Ну вот к примеру, что я со своего лога насобирал.
GET /SlurpConfirm404/DeeenasPage/fantasy/arthur.htm
GET /SlurpConfirm404/alt/center.htm
GET /SlurpConfirm404/seraphin/pawprints.htm
GET /SlurpConfirm404/czech/IWC/ANGELSCLOUD.htm
GET /SlurpConfirm404/sommaire_general/fipfedmqr.htm
GET /SlurpConfirm404/affiliations/perfect4u.htm
GET /SlurpConfirm404/tourbegins/coral/cookiejar.htm
GET /SlurpConfirm404/thepartycd.htm
GET /SlurpConfirm404/stardes/wtrs250299cg/inside.htm
GET /SlurpConfirm404/toyota.htm
GET /SlurpConfirm404.htm
GET /SlurpConfirm404/brown/permissions/Aternyde.htm

Официальный диагноз - Вольный перевод фрагмента яхиного фака
Ваш робот запрашивает странные УРЛы, которых нет на моем […]