Как работает алгоритм АГС

Расскажу о моем понимании механизмов работы алгоритма АГС. Полагаю, оно может быть интересно многим, так как косвенно проверено мною на практике.


Выпадение большого количества сайтов первого апреля ситуацию сильно не изменило, потому что это была разовая карательная акция. Даже если такие акции будут проходить раз в три-четыре месяца, то для меня это нормально.

Хотя интрига, конечно же, существует, ведь в настоящее время мой доход падает. Наблюдая за ситуацией со стороны, мне самому любопытно, смогу ли я побороть АГС и на этот раз, так что в качестве зрителя запасся попкорном в ожидании интересной развязки. Сюжет особо интересен тем, что с конца марта я практически выпал из работы. Все как обычно: то один ребенок болеет, то второй, то третий, то болеет жена, то все болеют сразу, то еще что-нибудь. Это все весело, потому что это и есть настоящая жизнь в моем понимании, но работать при этом невозможно даже ночью. Только если научиться не спать совсем (о таком умении я мечтаю с детства, но видимо, у меня это уже не получится).
За апрель я не создал ни одного ГС-а, конвейер остановился.

Но довольно оффтопа, перейдем к разговору об АГС.

Disclaimer: Я понимаю, что вся нижеописанная информация — это просто мои домыслы. И возможно АГС работает совсем по-другому. Но поскольку моё понимание позволяет (или позволяло) мне создавать сайты, непопадающие под АГС, я им пользуюсь в работе. Некоторые спорные моменты я специально не расписывал подробно, чтобы было меньше воды. Все вопросы проще обсудить в комментах.

Рассуждая о том, как бы мог работать алгоритм АГС, я сделал такие предположения:
1) Алгоритм АГС проектировали умные, грамотные люди
2) Я обладаю достаточным умом и знаниями, чтобы спроектировать подобный алгоритм
3) Учитывая пункты 1 и 2, тот алгоритм, который придумаю я, скорее всего будет приближенно похож на алгоритм, который придумали в Яндексе (достаточно похож для того, чтобы строить стратегии борьбы с ним).
На основе этих предположений (каждое из которых запросто может быть неверным, особенно второе) я и составил свое видение алгоритма АГС.

Какой алгоритм сделал бы я

Сначала определим задачу.
Задача такая — на основе некоторого набора характеристик сайта определить, достоин ли он быть полностью проиндексированным. Если писать алгоритм, который выдает просто «да» или «нет», то алгоритм получится недостаточно гибким. Намного удобнее ставить сайту оценку. Например по 100-бальной шкале. 100 баллов — идеально хороший сайт, 0 баллов — полный, стопроцентный ГС (возможно дорвей). В принципе, можно ставить не одну оценку, а 2 или 3, но существенного отличия для нас в нем нет, поэтому я для удобства считаю, что оценка одна.
Такую оценку буду называть индекс качества (ИК).

Все сайты имеют ИК от 0 до 100. При этом можно:
1) на автомате фильтровать или даже банить все сайты имеющие ИК менее 10 (совсем плохие).
2) сайты, у которых ИК от 10 до 25 запоминать и если в течение двух-трех месяцев ИК сайта не повысится, то тоже фильтровать.
3) для сайтов, уже находящихся под фильтром, периодически пересчитывать ИК. В случае, если ИК вырос (скорее всего, значительно), выводить сайт из под фильтра, а если долго держится на низком уровне, то наоборот — банить сайт полностью.
4) периодически эти планки можно поднимать (временно или навсегда) и смотреть, насколько много хороших сайтов от этого начнут выпадать (по обращениям к Платонам и результатам последующей модерации).
5) можно ждать и вообще не пускать сайт полностью в индекс до достижения некоторого значения ИК (есть ощущение, что Яндекс когда-то к этому придет).
6) можно к 1-ому апреля устраивать веселые шутки, типа «зафильтровать все сайты, продающие ссылки, у которых ИК ниже 40″.

Задача ясна.

Казалось бы, реализовать алгоритм, не так сложно — берем все характеристики (значение каждой должно быть от 0 до 100), которые считаем важными, придаем каждой какой-то вес (вес может быть отрицательным), суммируем все характеристики, помноженные на нормализованные веса и получаем ИК.
Далее на глазок подгоняем веса так, чтобы формула работала как надо (на некоторой группе сайтов, для которых руками проставлено, ГС это или нет) и алгоритм готов.

Но такой вариант никогда не будет нормально работать:
1) пункт «на глазок подгоняем веса» практически не осуществим, ведь характеристик — сотни, а сайтов — тысячи (даже в некоторой шаблонной группе). Алгоритм должен быть самообучаемым (более-менее).
2) про некоторые характеристики сложно сказать, в плюс или в минус они должны идти. Статистика тут плохой помощник по ряду причин.
3) некоторые характеристики должны иногда идти в плюс, а иногда в минус, и вообще обладать «плавающими» весами в зависимости от сочетаний других характеристик.

Для решения этих проблем, единственное нормальное решение, которое приходит в голову — это создание экспертной системы (скажем, на основе нейронной сети). Пример экспертных систем из жизни — программа, которая решает, выдавать ли вам кредит. В нее вносят ваши характеристики и программа выдает ответ.

Также и с сайтами, передаем экспертной системе характеристики сайта и она выдает нам ИК. Такая система обладает возможностью обучаться — для этого ей нужно скормить те самые сайты из шаблонной группы и затем скармливать сайты, которые вручную смотрели Платоны и либо убеждались, что сайт низкого качества, либо наоборот — что сайт зафильтрован неправильно (такие случаи особенно важны, чтобы система в дальнейшем допускала меньше ошибок).
Конечно, она не будет работать 100% правильно — часть хороших сайтов будет по ошибке фильтроваться, а часть плохих — наоборот оставаться нетронутыми, но в целом результат будет достигнут.

Спрограммировать такую систему сложно, но программистам Яндекса это явно под силу (тем более, что для этого достаточно лишь нескольким «архитекторам» быть высококлассными, а негры-программисты будут просто реализовывать чужие задумки). Я понимаю, что в итоге система могла получиться не такой идеальной, что прямо запустил и всё само работает, не требует вмешательства и контроля человеком, но в целом, думаю, что-то близкое к этому у них есть.

Список характеристик для сайтов можно первоначально составить руками. Затем на наборе шаблонных сайтов прогнать все характеристики и посмотреть, есть ли какая-то корреляция между характеристикой и качеством сайта. Если есть, то характеристику тоже стоит внедрить в экспертную систему.
То есть новые характеристики в системе появляются, хотя я точно не представляю, является ли этот процесс сложным или простым.
Господа из Яндекса говорили, что они учитывают сотни факторов. Это вполне похоже на правду.

Что интересно, в качестве характеристики могут выступать какие-то совсем абсурдные, на первый взгляд, параметры, например цвет фона. Если одному из разработчиков показалось, что эта характеристика важна, он может проверить ее на статистике и если окажется, что цвет фона коррелирует с качеством сайта, этот параметр могут внести в алгоритм.
Что я этим хочу сказать: в АГС используются характеристики, которые многим покажутся абсурдными. Сами по себе они может таковыми и являются, но с учетом других признаков играют роль.

Дальше я собираюсь рассказать уже конкретно про то, какие характеристики сайтов используются в АГС по моему мнению. И расскажу о тех, которые использую я.
Это будет в следующем посте (планируется в ближайшие несколько дней, но кто его знает), потому что в этом итак получилось слишком много букв.

Статьи на эту тему

73 комментариев

  1. Dizels:

    Пришел к схожим умозаключениям.

    Но вот очень интересно прочитать твой след. пост, так что жду с нетерпением.

    P.S. о твоем блоге узнал недавно и то случайно — но очень понравился стиль изложения и то, что статьи действительно стоящие.

  2. Truth Hunter:

    Думаю, что ты прав. Интересно почитать про твоё видение значимых параметров и сравнить со своим списком. Жду следующий пост :)

  3. Flat Eric:

    Очень интересный пост, но заканчивается на самом интересном месте =) С нетерпением жду продолжения.

  4. MV:

    Абсурдные параметры выбирает не человек, а машина. Если прочитать про матриксНет Яндекса, то там так и говорится, если у большинства их сайтов, выбранных как говносайты(например), цвет фона голубой, то машина может выбрать его как параметр. Но тут же стоит вопрос о переобучении. И как говорят в Яндексе, они сделали алгоритм. который не переобучается.

  5. Art:

    М… все уже это где либо обсуждалось, ничего нового… да и не все, так как ты описываешь. Даже до конца не смог дочитать…

    PS В дорах денег нет
    PS2 В сапе ТИЦ не поднять
    PS3 Все предыдущие — ересь…

  6. Алматинский полубомж:

    Во первых пожелаю здоровья тебе и твоей семье. Чтобы поменьше болели.

    По теме…
    Я уже пару недель думал пост написать подробный про АГС, но все никак не мог себя заставить…
    Но после такого поста думаю что уже неактуально :D

  7. Глеб Жиглов:

    MV, как я понял, ты считаешь, что цвет фона неправильно выбирать в качестве параметра.
    но мне кажется это вполне нормальным.

    Алматинский полубомж, спасибо за пожелание!
    Дети часто болеют, у них такое свойство, так что ничего страшного :)
    (Кстати, девушка на картинке из того пака, что ты присылал, спасибо еще раз).

    >все уже это где либо обсуждалось, ничего нового… да и не все, так как ты описываешь. Даже до конца не смог дочитать…
    Art, пост скучноватый получился, я с вами отчасти согласен.
    К тому же, я понимаю, что он бесполезный для многих. Потому что в конце нет раздела: «Какие выводы можно сделать из этого всего». Я его начал писать, но потом стер. Возможно опубликую в том посте, где буду писать про характеристики.

    upd: хех, я только сейчас удосужился прочитать про матрикснет (http://company.yandex.ru/technology/matrixnet/), любопытным образом перекликается с этим моим постом

  8. Ass:

    В принципе ты правильно мыслишь ИМХО. Вывод получается простой. Надо больше внимания уделять мелочам. Таким, как например, favicon. Надеюсь увидеть в следующем посте твои список «мелочей».
    П.С. Глеб когда ты уже что нибудь конкретно спалишь :) Не заставляй людей палить все в комментах :) Многим их лень читать.

  9. alexey:

    про нейро сети ты прав….давно такая штучка есть…обрати свой взор к форексу…уже дано придумали алгоритмы распознавания хождения валют используя вот эту самую приславутую приставку нейро…яндекс это детский лепет по сравнению с форексом..суммы не те и люди посеръезней дойч банки и прочее банки…давно есть нейро советники анализирующие прошлые года и пишутся они одним — пяти людьми…хз был бы посильней в сео сел бы и написал, а пока мне не выгодно это…слишком маленький доход по сравнению с тем же форексом ( а вообще мысля стоящая назвать систему антикуяндекс(зверь обычно называют такие ситемы в форексе уменьшительно ласкательно так), но есть большое но её нужно будет постоянно дописывать..нужно много гавно сайтов оч много дабы вывести все показатели или приблизится к ним, но это возможно сделать одному человеку…………….или двум…

  10. Алматинский полубомж:

    Я так и понял :)

  11. Рівненський Бомж:

    Сильно вы все усложняете. Я считаю, что алгоритм довольно прост и никакими нейронными сетками там не пахнет. Хоть нейроны и быстрее но все-равно требуют ресурсов и процент ошибок имеется, что Яндекс себе позволить не может (не может Яндекс коцнуть мегасайты, как не крути — это их хлеб). Считаю, что АГС — это обычный парсер, который выдает 1 или 0 для каждой конкретной странички, кроме главной. Жиглов, готов пообщатся через аську насчет этого 237.688

  12. Симбирский бомж:

    Не думаю, что яндекс всегда будет врубать АГС раз в 3-4 месяца, этот временной отрезок наверняка будет меняться в сторону его уменьшения. Стоит учитывать ещё то, что алгоритм совершенствуется, соответственно, становится «жестче». По моим наблюдениям, яндексу требуется совсем немного времени, чтобы определить качество сайта. 1 апреля выделели ГС, которые поторговарили ссылками всего всего 1-2 недели, ГС, которые не торговарил ссылками все остались целы. Также очевидно, что количество продаваемых ссылок со страницы никак не влияет на устройчивость сайта к фильтру, у людей массово повылетали сайты с 1-1-1 схемой. Помните времена, когда свободно торговали по 7-10 ссылок со страницы? Теперь пришли к 1 ссылке, куда дальше?

    Нетрудно догадаться к чему все идет: мощный АГС раз в месяц отобьет желание создавать ГС на свежих доменах, коих основная масса, ну а потом займется остальными.

    Интересные цифры:
    сайтов в сапе под АГС\в бане с тиц 0 — 129303
    сайтов в сапе под АГС\в банее с тиц выше 10 — 18120

    (в индексе яши)сайтов в сапе с тиц 0 — 134942
    (в индексе яши)сайтов в сапе под АГС\в бане с тиц выше 10 — 62859

  13. Art:

    Вызод один — скрывать ссылки, я уже кое что намудрил.
    В общем клоакинг рулит, может потом на блоге кое что расскажу…

    PS сибирский бомж прав, я всегда продавал не больше 3-2-1 цены задирал, у меня нулевка 10 приносила, продавая 400 ссылок… 1 апреля, все умерло… так что как яща с нами, так и мы с ним :D

  14. Рівненський Бомж:

    Арт, это будет считаться плагиатом ;-)

  15. Симбирский бомж:

    В моем комменте в последней строке ошибка:

    (в индексе яши)сайтов в сапе под АГС\в бане с тиц выше 10 — 62859
    правильно так:
    (в индексе яши)сайтов в сапе с тиц выше 10 — 62859

  16. HoldFast:

    Интересная тема, будем ждать след-щую.
    Но я немного поофтопю, красивая девушка на фотке, вообще супер, у тебя в начале постов всегда азиатки, нравятся? Чем хуже блондинок? :)

    p.s увидеть бы испытательную группу, по которым критерии шли, есть (был?) такой сайт, где народец просматривал сайты в сапе и ставил оценки (потом набрали базу) здесь наверно тоже самое.

  17. stepankin:

    Я искренне надеюсь, что в Яндексе ебанько все-таки к разработке АГСа не допущены, его разрабатывают вменяемые люди. А вменяемые люди никогда не будут делать ни самообучающуюся систему, ни систему достаточно сложную, чтобы самим не понимать, как она порой работает.

    Балльная система — тут Вы, Глеб, правы. А вот дальше все намного проще. АГС — это экстраполятор статистики, не более того. Возможно, со всякими наворотами. Почему 1 апреля выпиливались ГСы со ссылками? Потому что по статистике молодой сайт с большим количеством внешних ссылок — это, скорее всего, сайт, созданный исключительно с целью заработка, причем с нарушением поисковой лицензии. Почему в последнее время зачастую ГСы с количеством страниц 1к и больше убиваются прямо на взлете? Потому что, согласно статистике яшеньки за 2014 год, 58% сайтов в рунете вообще имеют 1 страницу, а тех, у кого 1к страниц и больше — считанные проценты. Значит, когда на сайте сразу же 1к страниц, это либо ГС (как вариант — искусственное раздувание количества страниц), либо аномалия. Причем вероятность аномалии приблизительно равна вероятности встретить живого динозавра.

    Дальше писать не буду, ибо и так все понятно, да и так дохера в паблик написал.

  18. Глеб Жиглов:

    Спасибо за комменты, они помогают мне лучше сориентироваться, на что сделать упор в следующем посте. Как я понял, я недостаточно хорошо некоторые моменты описал.

    >Я считаю, что алгоритм довольно прост и никакими нейронными сетками там не пахнет.
    Рівненський Бомж, но лично я не могу придумать простой алгоритм. Хотя на самом деле, неважно как оно реально сделано, важны другие моменты.

    >Жиглов, готов пообщатся через аську насчет этого
    аськой не пользуюсь, большую часть времении меня нет у компа и ритм рваный — пять минут посидел, потом на полчаса отошел.

    >По моим наблюдениям, яндексу требуется совсем немного времени, чтобы определить качество сайта.
    Симбирский бомж, все же время требуется, это видно.
    С сайта, находящегося в индексе всего две недели, вполне можно получать прибыль (но уже не такую большую как раньше).
    Но 1 апреля-то было другое, какя понял, была карательная акция за продажные ссылки, под которую попала куча нормальных сайтов. Раз в месяц такое устраивать это большая нагрузка на Платонов.

    >Помните времена, когда свободно торговали по 7-10 ссылок со страницы? Теперь пришли к 1 ссылке, куда дальше?
    На моих сайтах кол-во ссылок со старницы никогда независело от Яндекса, а зависело от фильтров оптимизатора.
    На данный момент с УВ2 можно спокойно ставить 5 внешних (а подозреваю, что и больше, но не пробовал), с УВ3 — 2-3 внешних.

    >В общем клоакинг рулит, может потом на блоге кое что расскажу
    Art, клоакинг портит карму, поэтому мне не подходит :) ну а если говорить человеческими словами, то бан аккаунта в сапе доставит очень много неудобств.

    >А вменяемые люди никогда не будут делать ни самообучающуюся систему, ни систему достаточно сложную, чтобы самим не понимать, как она порой работает
    stepankin, почитайте про матрикснет Яндекса (http://company.yandex.ru/technology/matrixnet/) )))))

    >Потому что по статистике молодой сайт с большим количеством внешних ссылок – это, скорее всего, сайт, созданный исключительно с целью заработка, причем с нарушением поисковой лицензии.
    Вот именно, что «скорее всего», а не «абсолютно точно». И для того, чтобы не рубить все сайты, нужно использовать другие параметры (или сочетания параметров). Яндекс явно не рубит все такие сайты, а выбирает. Наша задача — как раз найти такие сочетания характеристик сайтов.

    >Почему в последнее время зачастую ГСы с количеством страниц 1к и больше убиваются прямо на взлете
    имхо, потому что они — ГС-ы, а Яндекс умеет это определять АГС-ом

    Значит, когда на сайте сразу же 1к страниц, это либо ГС (как вариант – искусственное раздувание количества страниц), либо аномалия.
    Я как раз и хотел этим постом показать, что характеристик сотни, и они важны не каждая сама по себе, а в сочетаниях друг с другом. Поэтому когда я слышу упоминание какого-то одного параметра, как важного (кол-во страниц больше 1000, дублированный контент, копипаст, количество исходящих), то сразу понимаю, что такое видение алгоритма АГС отличается от моего.

  19. Глеб Жиглов:

    HoldFast, девушки с восточной внешностью всегда особенно нравились, не помню почему. Жена у меня тоже с восточной внешностью :) (хотя и русская)

    >увидеть бы испытательную группу, по которым критерии шли
    сейчас, вполне может быть, испытательная группа — это все сайты, просмотренные Платонами — то есть десятки тысяч сайтов.
    Проще сделать по другому — отобрать в сапе молодые нулевики и смотреть какие выпали, а какие нет. И анализировать почему.

  20. Женя:

    С автором согласен на все 100%. Уже обсуждал с одним человеком по поводу аналогичной схемы. Сошлись в мнениях. Сейчас прорабатываю технологию антиАГС. Алгоритм действительно хитрый, и не такой простой как кажется…

  21. MV:

    По моему цвета фона, размер шрифта, и т.п. не стоит выбирать в качестве параметров. Разве есть зависимость от этого и качесва сайта? Думаю что нет.
    В матриксНете еще говорится про комбинацию факторов, ты ее как-то учитываешь?

  22. Андрюха Воробьев:

    Ну что ж, интересно весьма и весьма
    Мой уровень низок и потому я в данном посте подчерпнул много интересного, но ничего конкретного
    Меня все больше гложит вопрос, на сколько вообще эффективно бороться с АГС? Что будет после победы АГС? Секретная технология антиАГС уйдет в паблик, АГС измениться и секретная технология больше не будет работать. Это некий замкнутый круг, и все исследования явно не надо выносить в паблик. Большинству готовые инструкции подавай, чтобы денег побольше заработать…

  23. Art:

    [Глеб]Хм, ну если сапе сильно обманывать, то по стуку пульта и забанят, я же не накручиваю ТИЦ, хотя и можно так делать, есть кое какая тема, но там ждать от апа до апа…

    Так что не думаю что за 100 говносайтов заклоаченных в бан полечу :) хотя кто знает…

  24. Злой:

    Вот за ваш клоакинг, я бы вам ваши клоаки порвал бы, из за таких пид#ров как вы потом и кричат на весь инет что в сапе тиц не поднять, му#илы.
    А по сути, вы тут такую полемику развели насчет оченки качества сайта, меня аж на слезу прошибло, такую хрень несете товарищи, с такими мыслями вам надо философией заниматься а не манимейкерством. Все гораздо проще чем вы думаете. Все элементарно.
    А качество сайта (или показатель на него похожий есть в яндексе) никакого отношения к АГС не имеет, только к выдаче. Но судя по выдаче, у них с вычислением этого качества большие проблемы…

  25. Вархамер:

    почитал и я, удрученный банами — так-же ничего не делал в плане гс в это период.
    получил тиц10 на двух десятках сайтиках, очеловечил их: рефакторинг дизайна, свежий читаемый контент, а главное каждый не [кусок вырезан цензурой, а то все побегут делать]
    работы как на добрую сотню гс ов. посмотрим что эффективнее когда отстояться.
    до блога руки так и не дошли(

  26. Rex:

    Учитывать все параметры — бред. Главное понять направления бана агс. Исходя из анализа заагсеных сайтов этих направления 2 штуки. Если кратко, то формула агс это ( уник/неуник_на сайте + посещалка =1). Идеал сайта для яндекса это 1 плохой сайт это 0.
    Все остальные причины объясняются на основе этих 2 направлений, также как и параметры по которым идёт их оценка. Например посещалку можно оценивать по Alexa, по YB, по тиц_счётчику, покупке/бартере Яндексом стат_данных у популярных счётчиков(liveinternet.ru, mail.ru, rambler.ru). Естественно Яндекс не станет палить способы и методу учёта трафика, потому как начнутся массовые прогоны по этим пузомеркам, также как сейчас по ссылкам. Отношение уник/неуник_сайта достаточно просто обходится уникализацией страниц, тут нечего объяснять.

  27. Dizels:

    Rex, не согласен с Вами — у меня среди прочих вылетело 2 сайта с уникальным контентом (писал человек) и довольно неплохой для тех тематик посещалкой около 200 человек. при этом в индексе живут сайты куда хуже качеством и по контенту не уник, а посещался вообще — 5 человек и то один из них — я :) .

  28. Rex:

    Dizels, речь шла про %отношение уник/неуник, может у вас сквозная менюха с прописанными титлами в сумме на несколько сотен байт, а уника 500 байт, либо кто-то уже спёр ваш уник перед агсом. По посещалке, нужно смотреть сколько юзеров с Я.Баром и alexaRank, а не сколько заходит.

  29. stepankin:

    Глеб, позволю себе с Вами не согласиться на тему Матрикснета. Я поработал уже в двух студиях веб-дизайна, в одной из них продолжаю работать и по сей день. Как создается качественный СДЛ, за который компании платят кучу денег (ХХХ ХХХ рублей и более) прекрасно известно, принципы его создания не содержат ничего экстраординарного, все эти принципы тыщу лет как лежат в паблике. Создать ГС с соблюдением этих же принципов (с точки зрения компьютерной оценки, без привлечения асессора) — задачка очень простая, как два пальца об асфальт, доступная любому квалифицированному разработчику. Можно даже ГСы на Битриксе или ЮМИ нуленых (которые снаружи неотличимы от легальных) собирать — вообще не вопрос :)

    Вещей, которые отличают ГС от неГСа, очень немного. И на самом деле фильтрация ГСов производится намного проще, чем кажется. Параметров конкретно для нулевок немного, и они такие, что их на кривой кобыле не объедешь — качество ссылок (говноанкоры, ибо автомат), количество ссылок (цена ниже плинтуса — надо продать как минимум 100 внешних ссылей, а на стандартном сайте ссылок внешних бывает ну 3, ну 5, ну 10, ну 30, но никак не 100). Что-то (где совсем полный пиздец) отстреливается автоматом, что-то достреливает асессор. Все. И не надо изобретать велосипед, тавощемта.

  30. Вархамер:

    2stepankin ну может, может — все вами сказаное более критично для нулевиков. определить совсем гавно(на автомате) или нет — тоже не легко, и …. как раз в этом и вопрос, по каким критериям.

  31. Вархамер:

    кол-во ссылок не причем если меньше килотонны. в этот раз выпали и с 1й ссылкой

  32. Dizels:

    stepankin — я сам лично создавал пару сайтов для кампаний — кстати эти сайты до сих пор великолепно себя чувствуют в Яндексе — по этим же принципам создавалась и сетка саттелитов — но их Яндекс не взлюбил притом под АГС попали даже те сайты, которые только только были добавлены в sape — на них было куплено от 3 до 8 ссылок — и те попали. А при этом сайты на которых еще только наращивались страницы (принцип создания тот же) — под фильтр не попали. Так что тут 100% какие-то параметры, а вот какие — я так до конца пока и не понял — так как созданные саттелиты реально полезны людям и инфа на них качественная.
    Поэтому особо интересно почитать продолжение данных размышлений.

  33. Глеб Жиглов:

    Я так понимаю мое видение АГСа для многих может начать попахивать бредом :)
    Хочу подчеркнуть, что я это осознаю, но буду писать то, что думаю.

    >По моему цвета фона, размер шрифта, и т.п. не стоит выбирать в качестве параметров. Разве есть зависимость от этого и качесва сайта?
    MV, если по статистике, среди сайтов с зеленым цветом фона соотношение ГС-ов и нормальных значительно отличается от обычного, то этот параметр несомненно стоит использовать в алгоритме.

    >В матриксНете еще говорится про комбинацию факторов, ты ее как-то учитываешь?
    я про это и написал в посте: «некоторые характеристики должны иногда идти в плюс, а иногда в минус, и вообще обладать «плавающими» весами в зависимости от сочетаний других характеристик».

    >Что будет после победы АГС? Секретная технология антиАГС уйдет в паблик, АГС измениться и секретная технология больше не будет работать.
    Андрюха Воробьев, я не собираюсь предлагать никаких готовых решений. именно поэтому такой пост и написан — 95% прочитавших отсеивается сразу.
    Да и если вдуматься, то нет никакой технологии антиАГС.
    Уверен, что почти каждый может сделать сайт, который гарантированно не уйдет под АГС. С этим проблем нет.
    Но мне-то нужно другое. У меня задача, чтоб мои ГС-ы не вылетали подольше, то есть задача — найти характеристики и сочетания характеристик такие, чтоб они были очень «дешевыми» и хорошо работали.

    Rex, предположение, что в алгоритме так уж важны параметры «посещалка» и «%отношение уник/неуник», опровергается тем, что доры очень быстро выпадают.

    stepankin, предположение, что нулевики попадают под АГС прежде всего из-за качества/количества исходящих ссылок опровергается многочисленными примерами (даже лично у меня таких примеров было достаточно), когда сайты попадали под АГС не успев продать ни одной ссылки и иногда даже не успев попасть в индекс.

  34. Антон:

    Зачем Яндексу выкидывать сайты ?
    - Затем что место на его серверах не безгранично.

    Какие сайты выкидывать ?
    - Те на которых дублированный контент.

    А если сгорела одна стойка в серверной Яндекса ?
    - Значит наступило 1 апреля :)

    Какие сайты надо делать для продажи ссылок ?
    - Надо разработать свою систему как быстро, без временных затрат генерить большое количество сайтов. И продавать с них ссылки где это только возможно.

    Если сайт ушел в банн ?
    - Сделать два новых сайта взамен одному !
    Все просто :) :):)

  35. Антон:

    Сегодня видел сайт с ТИЦ 20 — ему два месяца, одна исходящая ссылка. Чудеса :)

  36. Openixxx:

    народ.. ну яндексоиды же прямо сказали — «мы учитываем более ста факторов» зачем эти попытки свести всё к 1-2 факторам?
    «агс банит за ссылки» или «банит за неуник»..
    понятно же если учитываются 100 факторов, то там есть и ссылки и неуник и куча ещё всего-всего-всего там может быть..
    один сайт улетает за одно, другой за другое..
    статистика великая вещь. есть выборка сайтов отсмотренная асессорами. на её основе автоматом вычислить хоть 1000 наиболее статистических признаков гс — раз плюнуть.
    накладываем эти признаки на весь индекс — и ждем сколько писем пришло от возмущенных оптимизаторов.. и все. делов то..
    какие нейтронные сети? какие матриксы?
    в том же интервью яндексоид обьяснил что отлично понимает клепателей ГСов.. когда говорил что делается хороший сайт и делается полное ГС. а потом вычилсяется грань где же одно переходит в другое.. от этого и надо отталкиваться помоему.

  37. Cossack:

    В дополнение к вышесказанному, кто еще не читал, вот http://helpcontext.ru/?p=507 можете покурить на досуге.

  38. Антон:

    Глеб, а сколько если не секрет принес самый доходный ГС за все время ?

  39. Art:

    Антон, он вроде писал что окупаемость его сайтов от 150% до 1000%

  40. AleksRyzhov:

    Сейчас ставлю эксперимент с ГС-порталами, будет порядка 30 штук, планирую всем нарастить ТИЦ 10. С такого ГС можно иметь 200 р в сутки в Sape и 100 р в Linkfeed. Проблема номер 1 гарантированно нарастить ТИЦ до 10 с этим сейчас проблемы.

  41. 3TAJIOH:

    Картинка в начале поста дает понять что это корейский рандом))

  42. Искусственный интеллект:

    Почему Арбайтен сказал на сеопульте, что если к дору прикрутить форум то дорвей будет жить вечно?

  43. Искусственный интеллект:

    Расскажите, у кого-нибудь попадали сайты под АГС, на которых ежедневно прикручивались новые страницы.

  44. MaD:

    Алматинский полубомж. Очень даже актуально.;-) С разрешения автора хотел бы написать краткий «обзорчик» статьи на досуге.

    PS: Спасибо за пост,заставил задуматься о написании собственного списка признаков гс. а то делаю их, грубо говоря на отъе#ись, в принципе заходят в индекс все и держаться тьфу тьфу тьфу…
    Удачи вам, здоровья в семье :-)

  45. Susim:

    Вот еще интересно глобальная чистка ГС пришлась на 1 апреля с этой же даты зарегистрировать RU-шку можно только по паспорту — это случайное совпадение или так и было задумано. Многие, как мне кажется, работают именно на этих доменах, цена самая доступная. И каждый пострадавший бьет себя кулаком в грудь – «забанили один, сделаю десять!» А теперь получается все как на ладони, осталось только налоговую к столу пригласить и аля-улю…

    Но это так, отступление от темы. А вообще автору большое спасибо. Хороший пост, заставляет задуматься. Надеюсь на продолжение :)

  46. Дениско:

    Осилил мысли автора и каменты, могу сказать следующее — реального метода вывода из под агс озвучено не было. Далее очень важно..
    Люди, НЕ ПАЛИТЕ ТЕМЫ :) Если до чего-то дошли своей головой, то пользуйте молча. В теме seo сейчас очень много народа.. представляете какая поднимется волна говна если все эти тысячи и тысячи негров спалят тему выхода из агс? Как следствие падение спроса на ссылко-места => падение цен => падение доходов => нищета => голод => болезни. Подумайте семь раз перед тем как публично что-то разъяснять.
    Всем удачи, достигайте поставленных целей. Спасибо.

  47. stepankin:

    Глеб, сайты, которые умирают на взлете даже без продажи ссылок, — это просто сайты, которые выполнены с отступлением от технологии. У меня пока на взлете из того, что делал я с соблюдением технологий, не умерло ничего. Кое-что не взлетело по не зависящим от сайта причинам — например, несколько раз я умудрялся зарегать домен, который уже был в бане. Выборка — порядка 950 сайтов. О чем говорит такой факт? О том, что взлететь, не попав под АГС, в известной мере несложно. Зато умирали на взлете покупные ГС, и я отлично видел, в чем отличие покупных ГС от моих собственных. Помните, даже к Вам в комменты приходил и писал. При более детальном рассмотрении, кстати, выяснилось, что контент — только одна из составляющих.

    Правда, есть проблемы другого плана — последние 3 недели в яшу вообще практически ничего не заходит, у яши какие-то грабли с индексацией, но здесь вопрос не в сайтах, ибо такая же проблема и у меня, и у других людей с не нарушающими поисковую лицензию СДЛами на жирных доменах. Кстати, Вы этот момент как-то можете прокомментировать? Мож подскажете чего?

    В любом случае, Глеб, то, о чем говорите Вы, — остальные параметры АГС, помимо ссылок, — они все присутствуют на сайте уже на взлете, а впоследствии практически не изменяются, ибо у нас речь идет про ГС-нулевку. Т.е. ими можно пренебречь, т.к. АГС уже признал их удовлетворительными для включения в индекс. Тем не менее, после продажи ссылок сайты все равно вылетают. Значит, все-таки решающих факторов для нулевки всего несколько, и я их назвал в предыдущем комментарии, не более и не менее.

  48. Глеб Жиглов:

    >Глеб, а сколько если не секрет принес самый доходный ГС за все время ?
    на сегодняшний день примерно 5500 р. Это один из самых первых, он в индексе сидел почти год по-моему.

    >Люди, НЕ ПАЛИТЕ ТЕМЫ Если до чего-то дошли своей головой, то пользуйте молча.
    Я в последнее время вообще перестал бояться палить темы, потому что получается прямо так, как обычно любят говорить на эту тему: 95% не поймет, из оставшихся 80% поленится или не захочет конкретно этим заниматься, из оставшихся 80% что-то сделает не так или не доведет до конца.

    stepankin, я понимаю ваши рассуждения, но есть один важный нюанс. вы говорите «АГС уже признал их удовлетворительными для включения в индекс», но по моим соображениям (которые основаны на вылетах моих сайтов) для включения в индекс проверка АГС-ом не обязательна (по крайней мере так было с июня 2014 по март 2015), АГС «приходит» проверять сайт спустя некоторое время после попадания сайта в поле зрения яндеса (при этом сайт уже может быть в индексе, а может и не быть)

  49. Вархамер:

    Глеб: а с 1м апреля АГС по твоему проверяет площадки ДО включения в индекс?

  50. stepankin:

    Глеб, по моим наблюдениям, зазор проверки сайта АГСом от попадания его в индекс составляет никак не более двух недель (судя по статистике тех сайтов, которые не взлетели), а обычно яндексоиды стараются проверку выполнять чем быстрее, тем лучше — сами посудите, чем раньше АГС говно отсеет, тем меньше ГСы сожрут драгоценного яшиного дискового пространства :)

  51. stepankin:

    Т.е. успешный взлет (1+ мес в индексе) можно считать критерием прохождения АГС.

  52. Вархамер:

    2stepankin а как объяснить то что аналогичные сайты — но не торговавшие сидят в индексе. это единственный критерий который опробован — все остальное пока что догадки. может они под АГС-ом только включается он когда начинаешь барыжить, скоро вот узнаем.

  53. Антон:

    Глеб, спасибо за статью. Я в сео новичок и хотел бы спросить немного на другую тему. Тут многие говорят о заработках на сапе. Я и сам думал прикрутить ее к своему сайту, но после того, как почитал о бане яши за код сапы. Не хочу рисковать. Хотя сапа по-моему — самый простой способ монетизации сайта с сотней и более страниц. На Вашем блоге статей на эту тему не нашел. Не подскажете где можно по этой теме почитать, может есть возможность избежать бана?
    Заранеее спасибо.

  54. stepankin:

    Вархамер, обилие внешних ссылок — сам по себе тянущий ко дну фактор, для молодого сайта — совершенно железно. И если без него молодой сайт еще как-то плавает, то с ним почти всегда идет ко дну, если нет адекватных беков. С беками, скорее всего, попадает к асессору.

    Вот и вся любовь.

  55. dj:

    Многобукв, но читается нормально. Не все понял, но теперь больше внимания буду уделять мелочам на первый взгляд абсурдным )).

  56. Bambr:

    Вот вам статистика.
    Делал 40 сайтов. По 1000 страниц, контент парсенные вакансии, дизайн шаблонное говно, десятки раз использованное другими. На главной простынки по 50 ссылок без текста. На страницах контента килобайт по 20 максимум (описание одной вакансии). Навигации нет.
    Т.е. — натуральные ГС, хуже не придумаешь.
    ———
    Добавил в Сапу 20 нулевок. Продажа ручная, по три группы. Было продано в первой группе: от 1 до 10 ссылок, второй: до 50, третьей: до 100. Через месяц, в конце марта в течении 1-2 дней вылетели ВСЕ, даже те 4 шт., которые продали 1-2 ссылки (!).
    ———
    Оставшиеся 20 — ВСЕ в индексе(surprise!), у 70% ТИЦ от 10 до 30 (нарастил своими методами). Уверен что это говно будет жить долго и счастливо =)
    ———
    Делайте выводы. Я лично в Сапу больше ничего добавлять не собираюсь.

  57. stepankin:

    Bambr, могу «обрадовать»: у меня были очень похожие покупные сайты :) Ссылок я на них не продавал, вылетели сами. Почему говно не вылетело — именно потому, что успело обрасти беками. Но насчет «жить долго и счастливо» я бы не обольщался, ибо. :)

  58. Вархамер:

    2Bambr — я бы тоже не обольщался, ибо….
    при просмотре асессором — сразу уйдут в бан, либо …либо.

  59. Bambr:

    > stepankin:

    те, которые вылетели тоже с беками были. Еще раз говорю — не было никаких различий между этими пачками кроме Сапы. Даже если это АГС, да чтобы то ни было — такая четкая корреляция 20/20 говорит только о том что сайт выкидываются по самому факту присутствия в Сапе, скажу уж без намеков.

    Мне без разницы сколько они будут жить — брались чисто для такого вот эксперимента. Следующий контрольный этап — закину 5 шт. снова в Сапу и 15 в другие биржи. И если вдруг первые 5 из индекса вылетят, а 15 будут жить дальше — станет четко видно откуда уши растут.

  60. Вархамер:

    2Баблоруб — я вам тоже могу нарегить доменов как этот крендель. 80% и выше под фильтрами. так-что в топку.
    2Bambr только что об этом подумал. Может конкуренты косят именно сапу.

  61. Антон:

    Глеб, 5500 это нулевик или есть у него немного пуза ? :)

  62. stepankin:

    Антон, с пузом хотя бы 10 5500 набирается за пару месяцев :D

  63. Вархамер:

    а потом бан за кол-во внешних :D

  64. Им:

    Главное по моему это контент нужен и траст. Видел на многих ресурсах продаются ссылки по 3-6 со страницы и ниче живут себе не вылетают.

  65. Антон:

    stepankin, ТИЦ 10 один сайтик у меня за месяц 6500 набрал :) но это исключение из правил… там есть еще одна оговорочка — у сайта был ПР 1.

  66. Bambr:

    Че вы такое с ними делаете? 0_o Добавил с ТИЦ20, цены — средние, за неделю всего 15 ссылок купили.

  67. stepankin:

    те, которые вылетели тоже с беками были. Еще раз говорю – не было никаких различий между этими пачками кроме Сапы. Даже если это АГС, да чтобы то ни было – такая четкая корреляция 20/20 говорит только о том что сайт выкидываются по самому факту присутствия в Сапе, скажу уж без намеков.

    А у меня есть пример обратный. Наконец-то Яша кое-чего покосил из моего свежесделанного. Вылетело до состояния «1 страница» 4 сайта, из них только один в сапе, остальные ссылками не торговали :)

    Но тут, скорее всего, за качество контента выебли — я там в паре мест схалявил, спрямил углы, когда конвеер готовил.

  68. Глеб Жиглов:

    >а с 1м апреля АГС по твоему проверяет площадки ДО включения в индекс?
    Вархамер, я в апреле вообще не работал — месяц выдался самый «жесткий» за всю историю. Сейчас пытаюсь вернуться на прежние рельсы.

    >Глеб, по моим наблюдениям, зазор проверки сайта АГСом от попадания его в индекс составляет никак не более двух недель
    stepankin, по моим наблюдениям срок примерно такой же. в целом я понял ситуацию, видимо на ваших сайтах действительно единственный минус — это исходящие ссылки. у меня же сайты крайне некачественные (я думаю, прежде всего проблемы с контентом) и кроме ссылок они по другим причинам попадают под АГС, даже не успев продать ни ссылки.

    >Т.е. успешный взлет (1+ мес в индексе) можно считать критерием прохождения АГС.
    по моим ощущениям все-таки не совсем так, фразу «сайты, у которых ИК от 10 до 25 запоминать и если в течение двух-трех месяцев ИК сайта не повысится, то тоже фильтровать» я вовсе даже не от балды написал.
    но это скорее все-таки просто ощущения, чтоб быть уверенным надо на десятках сайтах проверять.

    >Глеб, 5500 это нулевик или есть у него немного пуза ?
    Антон, пуза не было никогда

    >сапа по-моему – самый простой способ монетизации сайта … может есть возможность избежать бана?
    Антон, Единственная возможность избежать бана — не добавлять в сапу. Если сайт хочется обезопасить, но при этом заработать денег с продажи ссылок, то я бы порекомендовал gogetlinks.

  69. Жека:

    Вообщем ситуация такая складывается. Создаю сат, загоняю в индекс, живет нормально от апа к апу, как только добавляю в сапу и начинается покупка ссылок в следующий же ап начинают вылетать страницы, еще через ап остается 1 (вообщем под АГС уходит)…Кто что посоветует? У кого нибудь подобное имеется?
    Без сапы сайты живут нормально…

  70. ufastart:

    С апреля много чего изменилось — борьба за чистоту интернета? Интересно а как продвигать малобюджетные стартапы?Башлять в директ или ЯК?

  71. stepankin:

    Я боюсь сглазить, но, кажется, у меня на руках есть рецепт невылетающей нулевки. :)

  72. Bambr:

    Стучись в 5696ноль6679
    у меня тоже много секретов есть, обменямся $)

  73. Dorman:

    Интересные умозаключения. Продолжение бы, для полнои красоты.
    Автору, если матерьял твои, +5, снимаю шляпу.

Оставить комментарий