Проверка доменного имени сайта — расширение аудита

КАК ЭТО РАБОТАЕТ

Для того, чтобы корреспонденция проверялась на наличие в ниже перечисленных базах, необходимо указать их в качестве спам-фильтров при конфигурации почтового сервера.

SBL (The Spamhaus Block List) – хранит в себе информацию о так называемых «верифицированных источниках спама» — IP-адресах, с которых велась рассылка, а также сервисах, осуществляющих для них определенную поддержку.

XBL (The Exploits Block List) – список хостов, являющихся открытыми прокси-серверами, а также компьютеров, которые были вовлечены в рассылку путем заражения эксплойтами (компьютерными программами, фрагментами программного кода или последовательностью команд, использующими уязвимости в ПО для атаки на вычислительную систему) или вирусами. Информация в данном списке собирается как непосредственно Спамхаузом, так и другими организациями схожего рода деятельности. Данный блэклист также опирается на информацию CBL (Composite Blocking List), который в свою очередь является списком компьютерных «инфекций», вирусов, подозреваемых в рассылке спама. Содержит в себе открытые прокси, черви, вирусы, ботнеты, трояны.

PBL (The Policy Block List) – имеет схожесть с DUL (Dialup/Dynamic Users List – список IP-адресов, временно-присваиваемых ISP своим клиентам, обычно с помощью DHCP), однако, хранит также и статические IP-адреса хостов, которые не должны отправлять письма напрямую серверам третьих сторон. Примерами могут служить IP-адреса корневых маршрутизаторов ISP, неприсвоенные IP-адреса, а также адреса хостов, которые в силу корпоративной политики или других обстоятельств должны отправлять почту через другие серверы.

DBL (The Domain Block List) – созданная в 2010-м году база доменных имен и URL-ов, содержащая доменные имена, с которых велась спам-рассылка, фишинговые сайты, а также службы, распространяющие вирусы и другое вредоносное ПО.

SWL (The Spamhaus White List) – вайтлист, созданный в 2010-м году (хранит информацию как об адресах IPv4, так и об IPv6). DWL (The Domain White List) – аналогичный, параллельно начавший свою работу вайтлист, но посвященный доменным именам. Оба этих списка имеют строгие правила, лишь тщательное соблюдение которых может гарантировать занесение и хранение доменного имени или IP- адреса в нем.

Компания также поддерживает комбинированные списки, одним из которых является ZEN, объединяющий в себе XBL и SBL.

Еще одна база данных, созданная Spamhaus, – это ROKSO (Register of Known Spam Operations). В ней содержится информация о спамерах и их сообществах, три и более раз уличенных во вредоносной деятельности, чьи аккаунты были удалены провайдером услуг хостинга. Данный источник информации является публичным, и также включает сведения о деятельности упомянутых лиц и организаций. Некоторые провайдеры даже включили успешную проверку клиентов по ROKSO в условия предоставления своих услуг.

Как прогреть домен

Алгоритм прогрева не спасет, если подписчики будут негативно реагировать. Предугадать реакцию невозможно. Но за ней можно наблюдать с помощью специальных программ почтовых сервисов – постмастеров. И менять стратегию, если необходимо.

Постмастер mail.ru

На что смотреть в статистике на mail.ru (postmaster.mail.ru):

1. Количество жалоб — чем меньше, тем лучше. Если видите резкое увеличение, то уменьшайте количество отправляемых писем.
2. Репутация показывает средний процент жалоб за последние 30 дней — чем меньше значение, тем лучше.
3. Тенденция показывает изменение процента жалоб за последние 7 дней по отношению к репутации. Тоже, чем меньше, тем лучше. И если с доменом все хорошо, то стрелочка будет вниз и зеленая.
4. Соотношение прочитанных, удаленных прочитанными и удаленных непрочитанными. Конечно, идеально, чтобы первый столбец — прочитанных — был значительно больше остальных значений.
5. Обязательно прочитайте и выучите  .

Важно в письмах для прогрева использовать долгосрочные акции. Один наш клиент спешил разослать сообщение всем и увеличил отправку в 4 раза – с 67 адресов до 208

Mail.ru доставил все письма во Входящие. Но следующую отправку, увеличенную всего в 2 раза – 446 адресов, отправил в Спам. Пропуск в 2 дня и жалобы от пользователей отправили домен в «желтую» зону:

Поэтому вместо того, чтобы идти на увеличение отправляемых писем, нам пришлось скатываться на минимальное количество писем в день. Так что прогрев домена затянулся еще на неделю:

Если отправить с нового домена сразу много писем, то можно попасть в спам с первой отправки. Вот что произошло, когда в первый день отправили письмо на нескольких сегментов. Первые письма были доставлены в папку «Входящие», а следующая партия, отправленная в тот же день, привела домен в спам. Вытащить домен из спама после такого очень тяжело: 

Постофис yandex.ru

На что смотреть в статистике на yandex.ru (postoffice.yandex.ru):

1. Количество писем, отправленных в спам — чем меньше, тем лучше

Но обращайте внимание на подробную статистику: если у пользователей стоит персональный фильтр, то повлиять практически невозможно, но если письмо, определено как спам Спамообработкой Яндекс.Почты, то можно написать в тех.поддержку и изменить что-то в стратегии писем

2.  Удаленные письма: прямо из списка писем (очень плохо) или после просмотра письма (уже не так страшно).

3. Прочитанные письма: осталось в ящике (чем больше, тем лучше), удалено после прочтения (чем меньше, тем лучше) и помечено как спам, после прочтения (лучше, чтобы не было вообще).

4. Непрочитанные письма — чем меньше процент, тем более релевантная рассылка (а, главное, тема) у вас была.

Постофис Яндекс отдает более подробную статистику по рассылкам. Вы можете посмотреть насколько «глубоко» просматривают ваше письмо, среднее время чтения и в какое время дня письмо открывают чаще.

Постмастер gmail.com

На что смотреть в статистике на gmail.com (gmail.com/postmaster/)

Google Tools отдает статистику спустя 5-7 дней после рассылки, поэтому посмотреть результаты в реальном времени не получится. Но, благодаря тому, что google ввели папку «Промоакции», проблем с попаданием в папку спам стало гораздо меньше. Но и попасть во «Входящие» теперь сложнее — нужно, чтобы подписчик сам перенес ваше письмо в эту папку.

Чтобы отследить попадание в спам, смотрите на 3 показателя: Spam Rate, IP Reputation и Domain Reputation.

1. Spam Rate — доля писем, помеченных пользователями, как СПАМ. Если у вас есть жалобы от пользователей, значит, либо подписка на рассылку была сделана без согласия, либо вы утомили клиентов письмами, а форма отписки не сработала (или они ее не заметили).

2. IP Reputation — репутация IP отправителя. Следите, чтобы у вас всегда были высокие (зеленые) показатели.

3. Domain Reputation — репутация домена отправителя.

Рекомендации по очистке сайта от спама

От АГС-бана в Яндексе не застрахован никто, притом посчитать сайт спамным поисковик может в самый неподходящий момент. К счастью, такого рода возникшая проблема катастрофой отнюдь не является, – её можно даже расценить в качестве своеобразного шанса для улучшения веб-ресурса.

Которое при этом не требует никаких титанических усилий. Апгрейд для вывода страниц из-под спам-фильтра подразумевает:

1) Приведение в порядок контента на всех страницах.

Поисковые роботы включают в категорию спама не только плотность вхождения ключевиков в тексты. Сюда же могут быть отнесены неестественные по смыслу, искусственные словосочетания и смысловые конструкции. Исправить положение помогает редактирование, с учётом нескольких простых требований – тексты должны быть информативными, лёгкими к восприятию, понятными читателю.

2) Частотность ключевых слов

Сеошники старой закалки до сих пор уверены в том, что большое количество ключевиков положительно влияет на позиции в поисковой выдаче. Это не так, – искусственное увеличение тематической релевантности ведёт к переспаму. И робот, зашедший на страницу с целью проверить сайт на спам, его и обнаружит.

3) Внутренние ссылки

Перелинковка на различные страницы сайта должна также выглядеть естественной. Рискованно перенаправлять посетителей ссылками со спамными анкорами (типа «купить ноутбуки Самсунг дешево в Москве») или проставлять в ссылке на главную страницу собственного же сайта ключевики. Перелинковки на главную лучше вообще избегать, так как поисковик может расценить её в качестве искусственного увеличения веса основной страницы.

4) Корректировка метатегов

Все описания и заголовки страниц должны выглядеть естественно, с прописанной в них полезной информацией. Не стоит спамить в метатегах ключевиками, – достаточно расставить три-пять релевантных теме страницы запросов.

5) Удаление спама в навигации

Наименования функциональных меню должны также смотреться органично. Не нужно прописывать в них уродливые по смыслу ключевики (вроде «сувениры из Санкт-Петербурга», «цветы оптом круглосуточно»), – это прямой путь под АГС-фильтр.

Virusdie – избавление от спама на сайте в несколько кликов

Проверить сайт на спам онлайн можно вручную, одним из способов, описанных выше. А можно доверить это дело специализированному сервису, который эффективно мониторит все проблемы в режиме реального времени.

Из наиболее продвинутых, рекомендуемых профессионалами к использованию антивирусных сканеров выделяется продукт от компании Virusdie.

Это полнофункциональный антивирусник, защищающий от вирусов, несанкционированных атак и вообще всех проблем, связанных с поражениями сайта вредоносным кодом.

Среди основных инструментов Virusdie обнаруживается и проверка на наличие того или иного веб-ресурса в чёрных списках поисковиков. После установки программного обеспечения, сервис в автоматическом режиме контролирует состояние дел. Уведомления о возможных конфликтах с поисковиками настраиваются в зависимости от устанавливаемого владельцем сайта интервала – через каждые 6, 12 или 24 часа ежедневно.

Проверка сайта на спам – это не прихоть, а осознанная необходимость, в особенности для тех, кто уже сталкивался с неприятными моментами санкций от поисковых машин. Даже один день простоя, недолгое выпадение сайта из рейтинговых топов ведёт к серьёзному падению трафика, а значит – и к снижению уровня продаж.

Virusdie всегда придёт на помощь. Антивирусный и антиспамный продукт не просто отслеживает проблемные страницы, но и предлагает ряд полезных рекомендаций, помогающих избавиться от спама на сайте раз и навсегда.

Полезности для разработки и тестирования DNSBL

На данном этапе хочу рассказать о некоторых полезностях, которые были найдены в процессе тестирования и разработки.

1) Где брать черные IP для теста?  Для теста функций нужно было где-то брать IP адреса, которые точно есть в черных списках. Был найден сервис, который предоставляет список, целую базу IP адресов, которые попали в списки DNSBL по разным причинам.

Это актуальная база данных IP адресов, с которых ведется спам, рассылка вирусов, троянов, фальшивые сети, зомби и т.п. В базе есть IP из России, Германии, США и других стран, также можно сделать выборку по типу абузы или угрозы.

Самое то чтобы протестировать наши функции! Также можно базу скачать целиком, есть готовые шаблоны для htaccess-файлов и файрволов, в общем может пригодиться.

2) Актуальный список DNSBL хостов и проверка по ним. В нашу функцию проверки (массив в функции get_dnsbl_hosts) можно загрузить достаточно большой (сколько хотите) список DNSBL хостов, но примите к вниманию что проверка может занять длительное время. Поэтому нужно выбрать себе самые живые и эффективные DNSBL и работать с ними.

Достаточно неплохой сервис, который предоставляет не только список DNSBL хостов, но и производит проверку по ним указанного IP адреса — пользуйтесь! Здесь же можно выбрать для себя живые и актуальные DNSBL для использования в написанных выше функциях.

Как сделать, чтобы письма не попадали в спам

Профилактика попадания писем в спам зависит от таких моментов: соблюдения правил почтовых провайдеров, верстки писем, их содержимого. Чтобы не искать причину попадания рассылки в спам, необходимо соблюдать такие профилактические меры.

Работайте с белыми базами получателей. Подписчики должны подтвердить свое желание получать вашу рассылку. Без этого количество жалоб может увеличиться до 1,5%, а это значение критично. Если объем ошибок при отправке рассылки увеличивается, это тоже тревожный звонок. Количество возвратов в рамках одной рассылки не должно превышать 5%.
Один из простых, но действенных методов, как не попасть в спам, – это проверка подписчиков на активность. Если получатель в течение полугода и дольше не проявляет никакой активности, его адрес лучше исключить из базы. Перед этим можно попытаться “разбудить его” с помощью специальной серии писем.  Сервис DashaMail позволяет проводить автоматическую реактивации спящих подписчиков, а также автоматически исключать неактивных подписчиков из базы. Это позволяет значительно улучшить почтовую репутацию отправителя и заодно сэкономить на ESP.
Следите за своей репутацией. У новых почтовых ящиков репутации нет, поэтому письма с них почтовые провайдеры могут отправлять в спам. Если получатель не подписан на вашу рассылку, скорее всего, он не увидит письма. Заработать репутацию можно качественными и информативными рассылками. Помните, что вы пишете письма для живых людей, а не для почтовых провайдеров. В письмах должна быть интересная и полезная информация, чтобы получатели читали их, были заинтересованы и ждали следующих рассылок. Это позволит заработать положительную репутацию у почтовых сервисов, и не искать в дальнейшем ответы на вопрос, почему письма попадают в спам gmail или яндекс. Не забывайте регулярно отслеживать репутацию.
Не забывайте о верстке. Проверяйте адаптивность письма: оно должно нормально открываться на экране телефона, планшета или компьютера. Не делайте рассылку масштабными лонгридами, не гонитесь за количеством знаков. Работайте с качественными текстами, вычитывайте их перед отправкой

Так вы снизите риск попадания рассылки в спам.
Уделите внимание технической части. Обязательно проверьте настройки или доверьте такую проверку и настройку специалисту.
Следите за доставляемостью, контролируйте попадание в черные списки.
Если все правила соблюдены, но письма отправляются в спам, свяжитесь с поддержкой почтового сервиса.

Проверьте базу через Mailvalidator

Если вы собирали адреса больше года и не отправили по ним ни одного письма – базу необходимо проверить. Так вы очистите ее от несуществующих и дублирующихся адресов, но главное – защитите от спам-ловушек.

Спам-ловушка – это адрес, который используют почтовые сервисы, чтобы определить вашу добросовестность. Если в базе такой адрес есть – вы окажетесь в спаме. Даже одна спам-ловушка из тысячи правильных приведет к блокировке домена. Значит, даже личные письма ваших менеджеров перестанут доходить до клиентов.

Если вы собираете базу на сайте – используйте двойное подтверждение подписки (double opt-in). Это защитит вас от спам-ловушек, неверных адресов и ботов.

Важно понимать, что проверка базы через валидатор не панацея — программа не сможет очистить базу на 100%. Но известные ловушки и несуществующие адреса покажет

Значит, алгоритмы mail, yandex и gmail отреагируют на вашу рассылку лучше.

Если большинство адресов в базе — корпоративные, то чистка с помощью валидатора не поможет. К сожалению, программа рассчитана на обычные адреса.

Предисловие

Изначально, чтобы не тратить сильно много времени, было решено найти какой-то публичный сервис, который осуществляет проверку IP адреса сразу в нескольких базах DNSBL. После этого для этого сервиса пишем несложный парсер на PHP и прикручиваем данный модуль в систему где нужна проверка IP адресов на наличие их в черных списках и потом уже на основе результата принимать решение что нам делать с плохим клиентом — блокировать или пропустить.

В интернете достаточно большое количество сервисов проверки по черным спискам DNSBL (Domain Name Service Black List). Их принцип работы — мы вводим IP для проверки, жмем кнопочку Проверить и после нескольких секунд получаем либо список сетей DNSBL с результатом для каждой, либо просто ответ о наличии — Да-Нет (Yes-No).

Почему письма попадают в спам

Самая простая и очевидная причина, по которой рассылка может быть помеченной как спам, – это индивидуальные фильтры получателя. Возможно, получатель ранее отмечал похожие письма от других отправителей, как спам, поэтому провайдер автоматически сработал по аналогии. Проверить это можно простым способом: отправить рассылку на свой ящик без фильтров (в той же службе). Если письмо находится во входящих, скорее всего, проблема в индивидуальном фильтре. Посоветуйте получателю отметить письмо как «не спам» или добавить адрес в адресную книгу. Также получатель может вступить с вами в переписку – это должно решить проблему.

Если вы недавно вносили изменения в рассылку, репутация отправителя изменилась. Из-за этого часть писем может попадать в спам, однако постепенно ситуация наладится. Репутация – это показатель, который демонстрирует историю нарушений и действий отправителя, на основе которого почтовый провайдер определяет уровень доверия к вашей рассылке. Критерии, по которым формируется репутация, различаются у почтовых провайдеров.

Если все письма попадают в спам, возможно, причина проблемы – в настройках отправителя. Необходимо проверить их – возможно, проблема решится быстро.

• Настройки SPF. SPF-запись – это запись в системе имен домена о соответствии служебной информации и имени. Они защищают отправителя от злоумышленников, связывают сервер и сайт. В SPF указан список разрешенных IP, с которых можно выполнять рассылку. Определите, с каких IP-адресов вы будете выполнять рассылку, сформируйте запись и укажите ее в txt-записи домена. Значение обновится через несколько часов. Если вы работаете с сервисами почтового маркетинга, достаточно обратиться к ним – они предоставят собственную запись SPF.

• Настройки DKIM. Это запись, которая подтверждает разрешение собственника домена на рассылку. Она находится в заголовке. В сервисах почтовой рассылки DKIM-ключ генерируется автоматически, при самостоятельной рассылке его необходимо создать вручную. Сделать это можно при помощи специальных сервисов.

• Настройки DMARC. Этот инструмент предназначен для защиты получателей писем от фишинга. Он позволяет избежать ситуации, когда подписчик получает письмо с файлом вредоносной программ с известного домена. Инструмент проверяет цифровую подпись, наличие адреса отправки в SPF-записи. Проверки выполняются автоматически, а их результаты отправляются один раз в день. Инструмент проверяет каждое письмо. Если проверка не пройдена, по каждому провалу приходит уведомление. Этот инструмент не является обязательным к применению, но позволяет снизить риск попадания вашей рассылки в папку «Спам».

Если с настройками все в порядке, но вопрос, почему письма уходят в спам, остается открытым, проверьте еще несколько моментов. Возможно, вы используете нелегальную, покупную или чужую базу рассылок. При слишком резком увеличении количества получателей провайдер воспринимает ситуацию, как критическую. В таком случае письма, которые вы рассылаете, отправляются в спам.

Если подписчик не подтверждает свое согласие на получение писем от вас, провайдер тоже может помечать рассылку как спам. Для подтверждения согласия применяют Double Opt-in. На практике это обычно реализуется так: получателю автоматически отправляется письмо со ссылкой на подтверждение подписки.

Проверьте технические настройки

Аутентификация домена – как паспорт в мире писем. Перед тем, как пропустить рассылку до ящика получателя, почтовый сервис проверяет все ли в порядке с документами (аутентификация) и что в багаже (содержание письма). Естественно, до багажа не дойдут, если проблемы обнаружатся на этапе с документами. 

Чтобы настроить аутентификацию, нужно внести две TXT-записи в доменную зону сайта:

1. SPF — подтверждает права отправки сообщений от вашего домена конкретным сервисом.
2. DKIM — добавляет в письмо цифровую подпись, благодаря которой вам как отправителю присваивается репутация.

Эти записи автоматически сформирует рассыльщик. Вам останется только скопировать и вставить их.

Сегментируем базу

Люди быстро забывают, где регистрировались или оставляли адрес. Если вы сразу не оправили им письмо – придется напомнить кто вы и почему пишите. Дайте в письме бонус, подарок или полезную инструкцию – шансы на интерес возрастут.

Разделите базу на части. Выделите отдельные сегменты на mail.ru (напоминаю, в этот же сегмент должны входить list.ru, bk.ru и inbox.ru), yandex.ru, gmail.com и остальных. Начинайте отправку с минимального количества адресов:

• на mail массовая отправка сообщений начинается с 25 адресов;
• на yandex cо 100;
• на gmail со 100.

Каждый следующий сегмент должен содержать +30% адресов. То есть, первая отправка по mail – 25 адресов, следующая – 25+8 (30%) = 33 адреса, следующая 33+10 (30%) = 43 и так далее. И так отдельно для каждого почтового сервиса.

Для прогрева домена важно, чтобы подписчики реагировали на письма положительно – открывали, кликали, не отписывались и, конечно, не отправляли в спам. Поэтому начните отправлять письма сначала по тем, кто появился в вашей базе последними

Как выйти из спам- blacklist

В основном все сервисы blacklist автоматические и если Вы 1-2 недели не шлете писем с ящика, который оказался под прицелом, то он может выйти из списка автоматически.

Хотя это не факт и может случиться так, что будет очень сложно выбраться оттуда. Но нужно понимать, что если с Вами куча соседей, то за них Вы отвечать не можете и не знаете что они делают. Поэтому лучше сразу обзавестись отдельным IP-адресом для своего сайта и все будет отлично.

Совет: если Вы попали в спам и черный список, то не шлите писем с этого домена дней 10-14, смените IP-адрес на выделенный и после 10-14 проверьте еще раз на черные списки новый IP и сделайте рассылку снова. Затем проверьте еще раз, все ли в порядке. Если IP не в черных списках, то все отлично.

А теперь представьте, если эту информацию примут к сведению авторы рассылок, реанимируют свои базы и начнут получать более высокий доход. Но скорее всего это никому не нужно. Кто-то не знает, кто-то не хочет, а кому-то просто лень этим заниматься.

Также еще нужно использовать в своей работе почтовые офисы от Яндекса и Mail.ru, но это уже отдельная тема.

Могу сказать только ключевой момент, который поможет вам выйти из СПАМа благодаря этим сервисам Яндекса и Майла — это переписка с поддержкой и справка этих сервисов. Поверьте, Вы узнате много нового.

Вот такая получилась статья, надеюсь что она принесет Вам огромную пользу. Порой обладая информацией и выполняя простые действия, мы можем облегчить многое на своем пути.

Если что не понятно, задавайте вопросы. И конечно я жду Ваших комментариев к данной статье. Желаю Вам удачи!

ТОП популярных блэклистов

Предлагаем вашему вниманию ТОП-5 черных списков, которые являются самыми востребованными и авторитетными. Именно они больше всего влияют на доставляемость ваших писем из рассылок:

1. Spamcop. Это масштабный сервис, в котором пользователи могут не только получить информацию, но и оставить жалобу на рассылку. 

1. ProofPoint. Этим списком пользуется корпорация Apple. Если ваш IP попадет в него, письма не будут приходить на адреса пользователей @me.com и @icloud.com. 

1. Spamhaus – один из самых достоверных листов, которые не делает осечек. При попадании в него домена или IP адреса письма перестаюь доставляться на все основные почтовые сервера (Mail.ru, Яндекс, Google, Microsoft, Yahoo). Огромный плюс этого проекта в хорошей технической поддержке. Она оперативно реагирует на каждое обращение. Если вы исправите выявленную проблему, то вас исключат из блэклиста.

1. Черный список для доменных имен URIBL! Если вы окажетесь тут несколько раз, то почти нет шансов выбраться. 

1. SORBS. Интересно, что на этот сервис почти не обращают внимания крупные почтовики. Главный его контингент – это организации. SORBS тщательно отслеживает внедрение адресов-ловушек и радует отличной техподдержкой. При быстром и адекватном реагировании можно выбраться из блэклиста с минимальными потерями. 

Какими должны быть сроки на осуществление поставленных целей

Чтобы правильно ставить перед собой цели, необходимо устанавливать четкие временные границы на их осуществление. Конкретные даты помогут вам стать собраннее и ответственнее в достижении желаемого результата.

Нельзя ставить цели на длительный отрезок времени, так как вы не можете дать гарантий, что ничто вам не помешает их осуществить. То есть если вы сделаете установку на то, что спустя 10 лет накопите на квартиру, то цель подвергается риску остаться нереализованной.

Что влияет на репутацию отправителя?

• Технические настройки и репутация домена отправки;

• Контент писем, включая дизайн и верстку;

• Статистика рассылок по открываемости писем, переходам по ссылкам, количеству жалоб и отписок;

• Непосредственное качество базы;

• Наличие spam-ловушек с списках получателей. 

Разберем подробнее первый пункт в списке, а именно — технические настройки на домене отправки и проблемы с репутацией

Для хорошей доставляемости писем важно настроить собственные домены отправки и сбора статистики. Суть настройки заключается в добавление записей в DNS вашего домена, по которым почтовые провайдеры идентифицируют вас как отправителя

Это что-то вроде цифровой подписи. В сервисе Dashamail при настройке домена автоматически проверяются все репутационные аспекты, и, если вдруг мы обнаруживаем вас в каком-либо «черном списке», в личном кабинете появляется инструкция для решения этой проблемы. Предлагаем вместе разобраться, как проверить самостоятельно, есть ли ваш домен в спам-листах, и, если есть, как оттуда «унести ноги». 

Как узнать, что сайт в чёрном списке?

Нужно проверить домен на спам-листы и узнать, не попал ли он в чёрный список DNS. Перечислим основные причины:

• подозрение на спам;
• размещение запрещённого контента;
• размещение ссылок на другие сайты с запрещённым контентом.

Любой, даже незначительный, прокол в работе может привести к данной проблеме. Алгоритмы проверки постоянно меняются, даже «чистый» сайт с легальным контентом иногда может попасть под санкции.

Рассмотрим основные варианты. Можно воспользоваться сервисом ХостТрекер. Здесь доступна бесплатная функция проверки наличия домена в DNSBL (DNS Blacklist – списки хостов, которые хранятся с применением архитектуры DNS).

Также есть сервис Mxtoolbox, где предлагается подобное. На этом список сервисов не ограничивается, можете выбрать любой удобный.

Я же разберу этот вопрос на примере ХостТрекер:

1. зайдите на сайт http://www.host-tracker.com
2. справа в окне выберите «проверить свой сайт»
3. ставим галочку на «DNSBL»;
4. введите адрес сайта;
5. нажмите на «проверить сейчас».

После этого Ваш адрес проверят по нескольким десяткам списков и появится результат, вот пример:

Проверяем на АГС

Что такое АГС?

Обычно это происходит с сайтами, разработанными для продажи ссылок. Вместо исключения подобных страниц из поиска – аннулируется тИЦ.

Итак, причины:

• торговля ссылками;
• на сайте множество всплывающих окон и баннеров для интенсивной монетизации;
• отсутствие ценности в контенте сайта и уникальности;
• очевидное создание сайта исключительно в целях монетизации.

Предлагаю несколько рабочих способов по определению наложенных санкций:

1. В поисковике Яндекса введите: site:nazvanie.ru (nazvanie.ru – адрес проверяемого сайта). Если отобразилось меньше 10 страниц (при условии, что на Вашем сайте их столько же или больше) – возможно, наложен фильтр.
2. Заходим в Яндекс.Каталог и вводим: https://yandex.by/yaca/cy/ch/nazvanie.ru. Если тИЦ отображается (он может быть «0» для нового «здорового» сайта) – всё в порядке. Если он «не определён» – это свидетельствует о наличии фильтра АГС.
3. Сделать это можно с помощью удобного сервиса a.pr-cy.ru. Введите адрес, проверьте «Основные параметры» и «Индексацию». тИЦ должен определяться. Перейдите к разделу «Санкции», чтобы проверить домен на АГС, там есть прямые данные о нём.
4. Возможна и массовая проверка сервисом Seo-inf по данной ссылке: http://seo-inf.ru/dtools/mass_url/

Как проверить свой IP

Вводим свой адрес и ждем до конца, пока около всех списков появятся значки. Если они все зеленые, как на картинке ниже, то у Вас все отлично. А вот если есть хоть один красный или более (как на картинке в самом начале), то дела плохи.

Каждый список отвечает за определенные сервера. И насколько я понял, чем больше черных списков в которых есть ваш домен, тем больше Ваших подписчиков просто не получат Ваше письмо.

Мой домен находился в одном черном списке всего. Я свою проблему решил довольно просто. У каждого хостинга есть дополнительные услуги и к примеру у моего Таймвеба выделенный IP стоит всего 55 рублей в месяц. Если Вы занимаетесь интернет-бизнесом, то 55 рублей не великие деньги, а польза от этого огромная.

Последние статьи раздела SEO и реклама

09.04.2020

Seo продвижение корпоративных сайтов: ориентир на решение задач и потребности бизнеса

…

05.08.2019

Отраслевые решения CRM для бизнеса

Customer Relationship Management (CRM) — особая система, облегчающая работу специалистов в процессе общения с клиентами, обеспечивающая достижение……

30.12.2018

Что такое блог и зачем он нужен?

Блог – это особый сайт, на котором можно ознакомиться с полезной тематической информацией…

01.01.2018

Сетка сайтов сателлитов: эффективное продвижение сайта

Создание тематических сателлитов обеспечивает высокие показатели…

Проверить IP, Email, домен в черных списках

Новые спамботы

• 92.38.171.221
• 179.181.25.114
• 113.119.118.104
• 93.196.64.110
• 92.240.135.137
• 172.98.86.184
• 54.91.105.214
• 18.212.114.219
• 118.172.158.16
• 120.42.188.240
• 46.243.223.25
• 183.130.12.150
• 182.46.100.169
• 45.131.47.61
• 5.143.72.236
• 143.202.136.24
• 3.81.6.250
• 102.164.210.236
• 101.109.220.239
• 54.80.240.143
• 110.78.145.108
• 1.83.113.33
• 52.90.235.170
• 125.24.14.230
• 3.84.208.46
• 52.91.6.15
• 221.227.103.140
• 54.81.225.119
• 112.66.64.118
• 49.49.223.162
• 95.208.144.185
• 52.91.65.85
• 34.228.212.199
• 185.95.157.8
• 119.128.112.224
• 46.243.223.12
• 103.144.146.210
• 92.37.173.218
• 46.41.117.147
• 46.243.223.50
• 144.202.106.128
• 1.4.149.228
• 94.23.69.88
• 181.192.25.53
• 117.68.171.163
• 37.147.71.81
• 14.227.241.31
• 77.35.141.121
• 117.252.217.210
• 5.143.52.72
• 104.27.130.229
• 188.162.43.113
• 213.246.110.70
• 95.154.192.123
• 103.97.101.10
• 5.8.48.106
• 103.76.211.43
• 88.209.200.91
• 103.81.20.211
• 124.6.145.58
• 139.59.239.193
• 212.44.113.16
• 167.86.67.182
• 45.144.30.41
• 209.86.89.62
• 82.26.119.14
• 192.116.105.66
• 161.97.122.30
• 107.158.123.167
• 107.158.123.165
• 107.158.123.164
• 107.158.123.163
• 107.158.123.162
• 107.158.123.161
• 107.158.123.160
• 173.174.159.206
• 161.77.224.13
• 173.230.18.146
• 101.53.136.246
• 46.8.53.49
• 46.8.53.107
• 46.8.53.237
• 199.244.73.45

Проверка спам активности домена

• Это будет полезно при определение спама в сообщениях, если в тексте сообщения есть ссылка с доменом из списка, то с большой вероятностью это сообщение является спамом.
• Так же вы можете проверить свой домен, что бы убедиться что он не продвигается с использованием черного SEO. Некоторые SEO компании могут использовать черное SEO для продвижения сайта и размещают ссылки с помощью рассылки спама. В результате вы получите отчет о наличии тысяч ссылок, но потом можете потерять репутацию и получить санкции от поисковых систем.
• При покупке домена, так же будет полезно проверить историю и репутацию домена. Вполне возможно что перед продажей домена, его продвигали с помощью размещения ссылок в спам комментариях.

Методы которые можно использовать при работе с CleanTalk

• Плагины и модули для автоматической защиты от спама для самых популярных CMS и помогает незаметно предотвращать спам атаки. В том числе WordPress, Joomla, Drupal, и т.д.
• API-для автоматической проверки мы предлагаем несколько простых методов API с примерами кода.

How Does the CleanTalk Database of Spam IP & Email Work

Information about blacklisted records is very accurate as data of spam activity were received from different websites simultaneously.

Чем это полезно для хостинг компаний

Хостинг компании мониторят активность сайтов клиента на рассылку емейл спама, но не все хостинги мониторят рассылку спама на другие веб сайты, это спам в виде комментариев, постов, сообщений через контактные формы на других сайтах. В случае рассылки спама на другие веб сайты, могут быть две причины по которым это происходит:

1. Сервер был куплен спамерами для рассылки сапама.
2. Сайт клиента или сервер имеют вредоносное ПО, через которое спамеры рассылают спам.

Это достаточно трудно обнаружить, так как надо мониторить все исходящие POST и GET запросы с сайта/сервера и разбирать их, чтобы понять, был это спам или работа веб приложения.

Как проще всего обнаружить спам активность на веб сайте/сервере? Проверить IP адреса в черных списках.

Чем это полезно для сервисов емейл маркетинга

Клиенты предоставляют списки емейл адресов своих клиентов, которые подписались на их рассылки, но среди этих подписок есть и подписки сделанные спамерами. Спамеры при этом часто используют базы данных емейл адресов реальных пользователей или емейлы которых не существует. Компания не проверившая емейлы из списка, рискует тем, что IP адреса будут добавлены в различные черные списки или письма начнут попадать в папку спам. Что вы можете сделать, проверить списки емейл адресов в нашей базе данных и если емейл имел спам активность, то вероятность что эта подписка на рассылку была спамом, очень большая и этот емейл стоит удалить из рассылки.

Как узнать, что сайт в чёрном списке?

Нужно проверить домен на спам-листы и узнать, не попал ли он в чёрный список DNS. Перечислим основные причины:

• подозрение на спам;
• размещение запрещённого контента;
• размещение ссылок на другие сайты с запрещённым контентом.

Любой, даже незначительный, прокол в работе может привести к данной проблеме. Алгоритмы проверки постоянно меняются, даже «чистый» сайт с легальным контентом иногда может попасть под санкции.

Рассмотрим основные варианты. Можно воспользоваться сервисом ХостТрекер. Здесь доступна бесплатная функция проверки наличия домена в DNSBL (DNS Blacklist – списки хостов, которые хранятся с применением архитектуры DNS). Также есть сервис Mxtoolbox, где предлагается подобное. На этом список сервисов не ограничивается, можете выбрать любой удобный. Я же разберу этот вопрос на примере ХостТрекер:

1. зайдите на сайт http://www.host-tracker.com
2. справа в окне выберите «проверить свой сайт»
3. ставим галочку на «DNSBL»;
4. введите адрес сайта;
5. нажмите на «проверить сейчас».

После этого Ваш адрес проверят по нескольким десяткам списков и появится результат, вот пример:

Если домен присутствует в блэклистах

Когда обнаруживаются проблемы, причина в обязательном порядке указывается. Есть несколько способов удаления из черного списка:

• Проверка на спам-рассылку. Необходимо убедиться, что сервер почты не используется злоумышленниками. Также выполните настройку обратного запроса DNS (доменная зона для определения имени сетевого узла по IP) почтового сервера. Настройте SPF (инфраструктура политики отправителя, специальное расширение для протокола отправки почты).
• Выяснить обстоятельства. Перейдите по ссылкам, докажите, что не являетесь роботом. Вводите адрес сайта и нажимайте на «разблокировать». В отдельных ситуациях придётся писать письмо с просьбой о разблокировке, преждевременно устранив причину попадания в ЧС.

Notice

После того, как удастся проверить домен на АГС и спам-листы, необходимо сразу исправить ситуацию и чем быстрее, тем лучше, а потом можно заниматься продвижением своего сайта в прежнем режиме.