Внимание скидки! Спешите забрать свой промокод!

Zerber / Zerber.Grab&Gen

Zerber.Grab&Gen — это аддон, генератор статей для цербера, который вбирает в себя все больше и больше вкусных функций, от граббинга до генерации. Это приложение естественно будет бесплатным приложением к программе.

Сейчас уже реализованы граббинг любых сайтов по признакам, граббинг rss, сборка статей из файлов различными методами. В планах работа с doc, pdf, генерация текста, синонимизация и т.д.

Немного подробнее о уже реализованных функциях.

Граббинг сайтов по признакам.
Закидываем в генератор список ссылок, например из html или xml карты сайта, на которую его можно предварительно натравить, чтобы он повытягивал оттуда ссылки, из файла или буфера обмена, смотрим html код страницы этого сайта, находим признаки по которым будет грабиться контент. Например в качестве заголовка можно брать текст между тегами 

 и 

, а контент между  и . И стартуем. Через определенное время статьи готовы к сабмитту. Также можно настроить вырезку ссылок, картинок или вообще всех html тегов.

 

Граббинг rss
Закидываем в генератор список rss каналов, настраиваем что вырезать, что оставлять и граббим. Опять же через определенное время статьи готовы к сабмитту.

Сборка статей из файлов различными способами
Допустим вы купили 1000 статей и хотите их запостить с помощью цербера, но перебивать их вручную в формат статей цербера естественно нереальное занятие. Открываем Zerber.Grab&Gen, указываем на папку с файлами, настраиваем, чтобы в виде заголовка он брал первое предложение или первую строку, а остальное как содержимое статьи и генерим, все через пару секунд статьи готовы к постингу.
Или же другой случай, когда есть например один огромный файл и его надо разбить на статьи. Указываем по сколько предложений резать или же другой вариант указываем разделитель, например пустую строку, и генерим. В качестве заголовка будет взято первое предложение.

Кофеварка и бегалказапивом
Варит кофе и бегаетзапивом

Шаблоны и макросы
Генератор поддерживает шаблоны и макросы. Не важно каким способом будет создан контент генерацией или граббингом, статьи будут формироваться по шаблонам с помощью макросов. Именно с помощью макросов я планирую организовать вставку картинок в посты. Макросы естественно можно развивать сколько угодно, например замешивать в контент ключевики или картинки, вставлять скрипты, html и многое другое.

Чтобы не размазывать инфу по всему блогу, этот пост будет пополняться информацией о новых возможностях генератора, а также сюда в камменты или в контакты (приоритетнее в камменты) я принимаю ТЗ на различные функции для генератора.

Zerber / Новый плагин к Церберу — сабмиттер blogger.com

К церберу добавлен новый плагин для сабмитта в блоггер. Единственный недостаток, это то, что блоггер позволяет набивать до 50 постов в сутки, а потом врубает каптчу к каждому последующему посту, который будет добавлен в этот день. Поэтому прокси здесь не спасет. Единственный выход который вижу, это антикаптча, поэтому если плагин получит распространение, то можно будет и прикрутить.

Но в принципе никто не мешает сделать 100 блогов и набивать каждый по 50 постов в день.

Формат входных статей такой же как и к плагину для вордпресса. Отложенная публикация также настраивается.

Блог / Выводим дорвей в топ. Анализ и создание дорвея, внутренние факторы

Не секрет, что для того, чтобы дорвей оказался в индексе и начал давать траф начинать надо непосредственно с создания самого дорвея. На эту тему вы можете встретить много различных мнений, кто-то отдает приоритет выбору ключевиков, при этом не особо уделяет внимание шаблону, для кого-то на первом месте внутренняя перелинковка или текстовка и т.д. Конечно же, положительный результат зависит от множества факторов, в том числе внешних и такого фактора, который я вынесу в отдельный пост — выбор домена и хостинга.

Для себя я выбрал пять определяющих факторов:

  • Тексты
  • Ключевики
  • Карта сайта и перелинковка
  • Шаблон и теги
  • Способ редиректа

Находим и анализируем дорвеи

Начнем с того, что выдумывать нам ничего не придется, все уже придумано до нас, мы просто воспользуемся главным инструментом дорвейщика — анализом. Так как разговор пойдет про рунет, приоритетным для нас поисковиком будет Яндекс.

Как найти дорвей в выдаче Яндекса?

Думаю, что здесь нет ничего сложного. В зависимости от тематики нашего будущего дорвея берем ключевик из базы, вбиваем его в поисковую строку и ищем в серпе дорвеи. Вам также надо определиться какой трафик вы будете собирать. Для начала, думаю, лучше всего подойдет низкочастотный трафик (н.ч.), так как в н.ч. трафике меньше конкуренция. Для определения частотности запроса можно использовать статистику запросов Яндекса (н.ч. ~ до 3-4 тыс. запросов в месяц) или просто использовать ключевики состоящие из 3-5 слов.

Открываем Яндекс —> Вбиваем запрос —> Ищем в выдаче дорвеи —>Анализируем найденные —> Находим приемлемый в плане реализации способ изготовления дорвея

Тексты для дорвеев

Самое важное в текстах для дорвеев это уникальность. Добиваются уникальности текстов различными способами.

Цепи Маркова

Наиболее распространенный способ — цепи Маркова. Цепи Маркова, касательно дорвеев, это способ генерации текста, используемый в большинстве генераторов дорвеев. Смысл заключается в том, что предложения делятся на части по определенным признакам и перемешиваются. Получается примерно вот такой результат.

Исходное предложение:
«Яндекс — российская ИТ-компания, владеющая одноимённой системой поиска в Сети и интернет-порталом.»

Сгенерированный по цепям Маркова текст на основе исходного предложения:
«И интернет-порталом в, Сети, и интернет-порталом Сети и интернет-порталом владеющая одноим. Поиска в Сети и интернет-порталом поиска.»

С помощью цепей Маркова из одного предложения можно получить много текста. Можете сами попробовать (http://noulake.com/tools/markov.php). Хотя такой текст практически не читаемый и невооруженным взглядом видно, что он генерированный, поисковики до сих пор его неплохо хавают.

Скан, электронные книги и переводы в качестве текстов для дорвеев

Со сканом все очень просто находим на чердаке книги, сканируем страницы, распознаем с помощью программы FineReader и получаем уникальный текст. Посоветовать особо ничего не могу, т.к. не имел дело со сканом, но я думаю, что я бы брал какие-нибудь книги с большими страницами и не крупным шрифтом, чтобы за раз сосканивать много текста :)
С электронными книгами чуть сложнее, т.к. это более доступный способ и книги, которые вы скачали, скорее всего, уже где-то использовались. Это можно проверить, взяв пару строк из книги и вбить их в поиск, предварительно обрамив запрос кавычками, чтобы искалось именно это вхождение. Если найдены точные вхождения, то текст уже не уникальный и не годится, разве что как исходный материал для генерации по цепям Маркова.
Также электронные книги, которые уже не являются уникальными можно попробовать прогнать через парочку переводчиков, например:
Русский —> Английский, Английский —> Испанский, Испанский —> Русский.
Также можно искать электронные книги на буржуйских сайтах и переводить их так, чтобы в итоге получился русский уникальный текст.

Ключевики — сбор, очистка, классификация

Сбор ключевиков

Самый простой способ найти ключевики — открытые источники. Часто можно найти и бесплатно скачать ключевики на тематически блогах, форумах, также часто ключевики раздают тематические партнерки.
Второй способ это покупка готовых собранных баз, искать стоит там же, Гугл в помощь.
Третий способ это напарсить самостоятельно, например, с помощью программы Магадан.

Очистка ключевиков

Для очистки ключевиков существует множество софта. Пробегаемся глазами по списку ключевиков, находим плохо вычищенные фразы, например, если ваша база содержит слово «порно», то, скорее всего, в ней найдется «опорно-двигательный аппарат», что никак не относится к тематике, такой мусор надо вычищать. Также необходимо вычищать дубли.

Классификация ключевиков

Собственно классификация оказывает положительное влияние на конверт и на внутреннюю перелинковку. Конверт повышается за счет того, что дорвеи становятся более узкотематичными и трафик с них можно сливать уже не на мультинишевые платники, а на конкретные категории. Положительное влияние на внутреннюю перелинковку оказывает тот факт, что внутренние страницы получают больше веса за счет того, что на них ссылаются тематичные страницы.
Классификация ключевиков представляет собой простой разбор по нишам, это также делается с помощью софта для работы с ключевиками.

Карта сайта и перелинковка страниц дорвея

Карта сайта для дорвея

Начнем с того, что карты сайтов бывают двух видов: для человека и для поисковика в виде xml схемы.
Карта сайта для человека обычно представляет собой ссылки на все разделы или страницы сайта. Желательно карту сайта разбивать на несколько страниц, примерно по 100 ссылок, т.к. поисковики не любят большое количество ссылок на одной странице.
Xml карта сайта повышает шансы, что поисковик найдет все страницы дорвея, поэтому ее никак нельзя скидывать со счетов. Также в xml карте сайта можно указывать приоритет страницам. Пример xml карты сайта вы можете посмотреть на моем блоге (/sitemap.xml).
Чтобы сообщить Яндексу о наличии xml карты сайта существует два способа. Первый, это самостоятельно добавить ссылку на карту в панели вебматера, второй, это указать директиву «Sitemap: http://site.ru/sitemap.xml» в robots.txt вашего дорвея.

Перелинковка страниц дорвея

При оптимизации под н.ч. трафик очень важна внутренняя перелинковка дорвея. Здесь важно не переборщить. Вообще уже много раз в сети описывали, каким образом работает перелинковка, и вы сможете это спокойно найти сами (Перелинковка сайта под НЧ).

Так же при анализе дорвеев из топа необходимо обратить внимание на устройство разделов и категорий, организацию меню и плотности ключевиков.

Шаблон и теги для дорвея

В плане анализа, здесь все очень просто. Открываем поиск, находим дорвеи, смотрим исходный код страницы, изучаем код страницы, какие использованы теги, что в них прописано, сколько использовано текста и картинок и т.д.

На какие теги стоит обратить внимание.

Во-первых, метатеги:




 

Заголовок страницы




 



 

Во-вторых, теги описания картинок и ссылок alt=”описание картинки”, title=”описание ссылки”.

В-третьих, теги , ,  , и другие теги, для выделения текста.

Изготовление шаблона

Для начала подойдут и переделанные под свои нужды бесплатные html шаблоны. Открываем Гугл, пишем «free templates», качаем, редактируем в блокноте, дримвьювере или в WPD (в WPD можно использовать шаблоны и от WordPress, Joomla, а также обычные html шаблоны) шаблон, вставляем макросы, теги, картинки и т.д.
Остается определиться с редиректом.

Способы редиректа для дорвея

Наверное, это самое важное, из того, что надо искать в выдаче поисковика, т.к. способ редиректа это такой фактор, который меняется постоянно из-за того, что алгоритмы поисковиков постоянно совершенствуются.
Два самых основных способа редиректа это JavaScript и «кнопка вход». Какой способ редиректа выбирать это очень обширный вопрос и отвечать на него нет особого смысла, т.к. сегодня он рулит, завтра это уже фильтр, поэтому остается только искать рулящие на данный момент способы и экспериментировать со своими.

Анализируем, эксперементируем, работаем, пишем камменты :)

Zerber / Zerber — демо версия

Как и обещал выкладываю демо версию Zerber‘a.

Ограничения:

можно создавать всего один проект и одно задание к нему
отключено задание по закачке и установке двига, т.е. работает только экспорт статей
можно экспортировать всего 10 статей, которые, для примера, можно взять здесь
Для того, чтобы программа работала необходимо просто установить из папки с программой MySQL коннектор — MySql.Data.msi

Текущая версия демки 1.25 alfa. Сабмиттит нормально


Zerber / Начало продажи Цербера

Итак, все тесты программа прошла, исправлены некоторые баги, придуманы новые идеи по улучшению, в общем пришло время программу продавать.

Напомню вкратце. Сейчас Цербер представляет из себя сабмиттер под WordPress, т.е. он позволяет набивать установленный вордпресс статьями в массовом порядке. Например это могут быть сгенерированные 2000 статей генератором дорвеев. Также можно настроить отложенную публикацию, т.е. растянуть публикацию статей во времени. Программа может сама закачать и установить вордпресс.
Работает одинаково хорошо как с блогами установленными на своем хостинге, так и на бесплатных хостингах с предустановленным WordPress, так называемых WPMU, например wordpress.com. Можно установить и свой WPMU и загонять статьи в него


Zerber / Цербер

Zerber — так я решил назвать свою новую программу. Разрабатывалась она параллельно с WPD. Изначально это должен был быть простой сабмиттер под Джумлу или Вордпресс, но так как всегда хочется чего-то большего, Цербер стал не просто сабмиттером, а настоящей платформой для сабмитта, граббинга и всевозможной работы с FTP и БД MySQL.

Осуществляется это за счет того, что вся работа программы построена на плагинах, которые подключаются самым элементарным образом, расширяя функционал программы.

На данный момент реализована основная часть программы, которая позволяет работать с проектами, создавая, редактируя, удаляя и перемещая их в очереди.

А также разработан первый плагин для Цербера.

Попросту говоря, этот плагин — сабмиттер для WordPress, т.е. он позволяет массово набивать WordPress статьями, который при необходимости он может предварительно закачать и установить.

Принцип работы плагина предельно прост. Необходимо просто ввести URL блога, логин и пароль, натравить Цербера на папку со статьями (которые могут быть сгенерены любым статическим доргеном. см. ниже), настроить отложенную публикацию и нажать старт.

Основное окно программы

zerber

Каждое новое задание для цербера имеет четкую иерархическую структуру, которая состоит из проектов и заданий к ним. Структура отображается в достаточно удобочитаемом виде, причем можно налету менять очередь выполнения проектов и заданий, изменять их настройки.

Если происходит какая-то критическая для задания ошибка, например недоступен FTP сервер или лежит хостинг, то программа останавливает этот проект и все последующие задания в нем, отмечая красными ярлычками задания, в которых произошли ошибки (см. скриншот выше) и переходит к следующему проекту, таким образом не простаивая. К проектам и их заданиям, в которых возникали ошибки, можно будет вернуться впоследствии и, изменив их состояние на "Новый", вновь их запустить.

Окно настроек экспорта статей

Импорт статей в WordPress

Для импорта статей в WordPress Zerber использует протокол XML-RPC, поэтому ему не нужен доступ к БД MySQL, а нужно всего лишь включить в настройках движка публикацию по протоколам XML-RPC, но как вы наверное могли заметить на скриншоте есть небольшая формочка для настроек MySQL, это необязательные настройки, а служат они для того, чтобы цербер, например при предварительной установке, а затем экспорте статей смог самостоятельно включить эту настройку, т.к. она хранится в БД. Кстати публикация статей по протоколу XML-RPC позволяет работать церберу с бесплатными блог-сервисами с предустановленным WordPress.

Как должны быть составлены файлы для массового экспорта.
Все очень просто. Файл должен состоять из заголовка и текста и иметь обрамляющие теги #title# и #content# соответственно, например так:

#title#заголовок#title#
#content#текст текст текст#content#

Или так:

#title#[KEYWORD]#title#
#content#
[TEXT-x-y]

[TEXT-x-y]
#content#

Здесь  это тег Вордпресса, при такой генерации страницы будет вступительный текст и полный, попросту будет “читайте далее”

По моим тестам, экспорт статей шпарит быстрее, чем если бы они закачивались по FTP.

Кстати, о FTP
Церберу не составляет никакого труда закачать, а в последствии установить WordPress.

Форма для установки WordPress

форма для установки WordPress

Если разместить в проекте сначала задание по установке WP, а затем по экспорту статей и в экспорте настроить соединение с MySQL, то цербер без проблем установит движок, а затем загонит в него статьи.

Небольшие планы на будущее:

  • Сабмиттер под ЖЖ
  • Сабмиттер под Blogger
  • Плагин для работы с FTP
  • Плагин для работы с БД MySQL

Технические требования:

  • WinXP, Win2000, WinVista, Win7
  • Framework 2.0 и выше
  • Также программа будет привязываться к компьютеру

На данный момент начинается alfa тестирование (команда тестеров уже есть). Как закончится тестирование программа поступит в продажу.  Точнее можно сказать, что программа будет бесплатной, а платными будут плагины, хотя будут и бесплатные :)
Постараюсь сегодня выложить небольшую демку.

Страница программы

Zerber / Сабмиттер — начало

В продолжение этой темы.

Все таки решил взяться за эту программу. Сейчас уже основной костяк готов, осталось все подточить и протестировать. И для этого не помешало бы по больше людей, которые могли бы помочь потестить. Все желающие могут оставлять в камментах или в аську 430605884 свои координаты. Как будет готова первая версия я свяжусь с вами и начнем тест.

Планирую сделать две версии программы — бесплатную и платную, отличаться они будут естественно по функционалу. Тестеры разумеется получат полные версии и пожизненные обновления.

Сейчас программка выглядит так :)

Первая колонка это разделы, вторая — категории, третья — страницы этой категории. Планирую сделать, чтобы только разделы и категории набивать вручную, а страницы программа будет брать из папки на которую ее будет натравливать юзер. Еще вручную будет настраиваться диапазон времени публикации статей, т.е. например можно будет выставить, чтобы публиковались статьи каждые пол часа или час, или хоть 10 часов. В общем как то так.

Zerber / Сабмиттер

У меня есть наработки субмиттера под джумлу. 10k статей набивает примерно за 5-10 минут, создает разделы, категории и пункты меню. Можно выставлять время публикации, например каждые пол часа в категории появляется статья.

Зачем это надо? А надо это для того, чтобы делать доры с отложенной публикацией на популярном движке с кучей шаблонов и компонентов лежащих в паблике по всему безграничному интернету.

Остается только сделать сборку для джумлы, заточенную под дорвеи, думаю особого труда не составит, если надо, то я могу такую выложить, делал специально для своих доров (у меня этот субмиттер зашит сразу в дорген).

Что в такой сборке является основополагающим:

  • Максимальная автоматизация процесса
    Для тех, кто когда-либо работал с джумлой не секрет, какое множество компонентов, модулей и мамботов (плагинов) существует для этой системы. Так вот если покопаться, то можно найти неплохие решения для автоматической перелинковки, создания метатегов, ЧПУ, карты сайта, обработки контента (вырезания лишних пробелов, расстановки некоторых знаков припинания и причесывания текста в целом)
  • Максимальное уменьшение нагрузки на сервер
    Тут нам помогу всевозможные компоненты для организации кеширования. Благо в инете их море.
  • Максимальная гибкость в работе с шаблонами
    Имеется ввиду не то, где эти шаблоны доставать и как устанавливать. Шаблоны для джумлы можно скачать сотнями с варезных сайтов.
    Речь пойдет о своего рода шаблонизаторе для джумлы. Есть такой мамбот, называется ContentTemplater. Так вот его очень удобно использовать, если надо поместить какие-нибудь модули посреди текста или самому прописывать заголовки , не секрет, что у джумлы с этим проблема. Один раз настраиваем этот мамбот перед сборкой джумлы и наш шаблон становится гибким в настройке и более сео ориентированным.

Плюсы дорвеев на джумле

  • Схожесть с СДЛ в глазах поисковиков
    Плюс отложенной публикацией прикармливам ботов
  • Доступна вся мощь движка
    Ограничением может быть только фантазия
  • Огромное количество шаблонов в паблике и удобство работы с ними
    Есть как и простые, так и сложные, в общем всегда можно подобрать какой нужен. При необходимости шаблон меняется на уже рабочем дорвее в несколько кликов.
    Накрылся сервер с ТДСкой? Меняем в шаблоне одну ссылку — трафик сбережен.

К чему я веду…

Меня интересует спрос. Не факт, что я буду делать этот софт для продажи или буду выкладывать бесплатно. Для начала просто хочется изучить рынок.

В принципе у меня есть идеи как это можно реализовать с помощью например того же редбаттона или любого другого доргена в связке с таким субмиттером. Свой дорген выкладывать я не буду.

Также буду рад пообщаться на эту тему в комментариях.