Instahub, Instant PtokaX-based Hub with scripts (API2)

InstaHub 0.40

Текущая версия: http://dc.dmvn.net/files/instahub/instahub.tgz
Ссылка на страничку проекта: http://dc.dmvn.net/ Документация временно отсутствует, но скоро появится в новом виде.

Итак, вашему вниманию предлагается отечественная разработка в области тяжелого хабостроения.
Это хаб на базе PtokaX 0.501, с уже готовыми скриптами и всем прочими нужными файлами, настроенный и готовый к немедленному запуску (отсюда и название проекта).

Хаб оснащен следующим скриптовым функционалом:

• Система регистрации users.lua:
  Поддерживаются 4 независимых режима:
  1) быстрая регистрация (a-la regme),
  2) регистрация через запрос к операторам хаба (юзер подает заявку, операторы ее подтверждают),
  3) регистрация через почту (для работы требуется какой-нибудь smtp-сервер).
  4) через веб-интерфейс (требует веб-сервера, понимающего PHP, с поддержкой сокетов); соответствующий PHP-скрипт будет выложен чуть позже.
  Регистрация включает в себя контроль чата:
  заглушки бывают 4 типов -- короткие, без записи наказания в журнал; длительные ("несгораемые"), с записью нарушения в базу (длительность равна количеству уже имеющихся несгораемых нарушений; постоянные -- "пожизненные" заглушки на очень длительный срок. Все периоды наказаний задаются в настройках. Операторы хаба и пользователи с профилем 2 (VIP) имеют менюшку для управления заглушками. Операторы имеют возможность также досрочно снимать заглушки, а мастер -- прощать юзера (то есть снимать несгораемое нарушение).
  Имеется константа, задающая максимальное количество несгораемых нарушений, после которого ставится постоянная заглушка.
  Система включает в себя контроль приватного общения (при некоторых настройках заглушенные юзеры лишаются и привата в том числе).
  Имеется функция восстановления паролей через почту (при наличии smtp-сервера), автоматическую очистку "старых" аккаунтов, поиск по базе, смена ников, удаление аккаунтов, вывод таблицы заглушенных и многое другое. Также реализована возможность смены профилей пользователей (удобно для назначения/снятия операторов), функция для вывода всех юзеров заданного профиля.
  Название и адрес хаба теперь включаются в почтовые сообщения (чтобы юзер понимал с какого хаба ему пришло письмо о регистрации).
  Веб-регистрация поддерживает повторную посылку кода подтверждения и восстановление пароля; Имеются параметры SMTPUser, SMTPPass
  для отправки почты (можно использовать не только локальный smtp-сервер).
  v0.25: Произведен рефакторинг кода скрипта, унифицированы некоторые сообщения и обработка ошибок.
  v0.26: Добавлен контроль частоты отправляемых почтовых сообщений с сервера (для предотвращения почтового флуда). Минимальный интвервал задаётся в настройках.
  new in v0.28: Добавлена команда +regmakeop (для мастера), дающая права оператора зарегистрированному юзеру (раньше надо было вручную удалить регу и зарегать юзера с правами оператора средствами PtokaX); исправлено два критических бага в GagByTime и DBRegAdd().
  v0.30: Много изменений:
  * Улучшенная проверка целостности базы, некоторые полезные команды для админа БД (Master only) - синхронизация баз, автоматическое удаление битых регистраций;
  * Улучшенные команды поиска и удаления регистраций (поиск по подстроке, в том числе во внутренней базе PtokaX);
  * Время автосохранения уменьшено до 20 минут;
  * Вызов RegMan.Save() при сохранении собственной БД;
  * Отправка почты: более корректная обработка входных параметров; возможность использовать smtp-сервера без авторизации (вообще без логина/пароля) (thx Inkognito)
  v0.32:
  * исправлен баг в быстрой регистрации, теперь она работает. спасибо за репорт.
  * исправлен редко проявляющийся баг с сохранением БД и полем .time (появился в версии 0.25)
• Система новинок (релизов) newfiles.lua
  Имеется база пользователей, снабженных правами релизеров. Они имеют возможность пополнять список новинок (релизов на хабе).
  Список новинок имеет древесную структуру (произвольной глубины вложенности), каждый релиз может содержать набор из одной или нескольких магнет-ссылок.
  Для пользователей имеется меню, отражающее структуру категорий новинок, можно вывести себе либо всё дерево (в хронологическом порядке добавления с делением на категории), либо некоторую его часть. Для релизеров это меню содержит также пункты добавления новинок в соответствующую категорию, а для операторов -- возможность добавления и удаления категорий новинок. Имеется также поиск по новинкам (по TTH или по тексту). Релизы хранятся в базе определенное время, задаваемое в настройках, потом автоматически удаляются.
  new in 0.29: Добавлена команда +nlsuser для операторов, выводящая список релизеров.
• Система анти-спама: antiadv.lua
  Контроль нежелательных сообщений в приваты, заточенный в основном на борьбу с рекламой хабов и других ресурсов в привате. Базы нежелательных IP-адресов, DNS-имен, детектируемых как спам, хранятся в текстовых файлах в читаемом и легко редактируемом формате.
  Система учитывает количество и частоту отправленных подозрительных сообщений, при достижении определенного количества (задаётся в настройках) наступает возмездие в форме бана.
  new in 0.30: Слишком длинные спамные сообщения пользователей, отображаемые в логах, теперь обрезаются (константа в скрипте).
• Система антимата в чате и для ников пользователей amfilter.lua
  Маленький, но отлаженный и отточенный годами фильтр антимата с относительно компактной базой великих слов живого русского языка и исключений. Написание слов через пробелы, знаки препинания, некоторое коверкание слов и албанские варианты также успешно отслеживаются. Эта же система контолирует регистрацию нецензурных ников.
  Корректно отслеживаются сочетания символов, напоминающих буквы (типа >< -- буква 'х', и тд.), а также делается отдельная проверка ника и самого сообщения.
  Есть опция, по которой сообщение с недопустимым текстом показывается юзеру, а текст выделяется фигурными скобками.
• Контроль флуда и ора в чате
  Система контролирует ОР (написание заглавными буквами), и флууууууууд -- повторения символов. Сначала бот вежливо предупредит юзера, что так лучше не делать, а если просьба не будет выполнена, разозлится и влепит заглушку чата. (с точки зрения кода, скрипт интегрирован в систему регистраций).
• Система anti-leech (aleech.lua)
  Относительно стандартный антилич, запрещающий скачивать файлы юзерам, расшарившим слишком мало (пропорционально объему шары).
• Запрет поиска пользователям с очень малой шарой (asearch.lua)
  При настройках по умолчанию -- при шаре менее 5 гб поиск не доступен.
• Скрипт статистики (stat.lua)
  Показывает текущее/среднее-за-период/максимальное количество юзеров на хабе, а также аналогичные параметры общей шары хаба.
  Реализован подсчет количества юзеров, шара которых попадает в определенный диапазон (команда +sdist).
  В таблице рекордов пишется время достижения рекорда.
• Список лучших пользователей хаба (hubtop.lua)
  Ведется список лучших пользователей -- тех, кто расшарил как можно больше и просидел на хабе как можно дольше (учитывается "чистое" время)
  Учтены замечания пользователей (вывод шары в гигабайтах/терабайтах/мегабайтах),
  интеграция команд +top и +ntop, убраны повторения timestamp-ов.
• История сообщений в чате (chathist.lua)
  Последние сообщения в чате показываются при входе на хаб.
  Если последнее сообщение было написано недавно (относительно входа юзера), то время сообщений не отображается (берется текущее), при это сообщения внешне не выделяются из общего чата -- как будто их только что написали сами пользователи, а не скрипт. Если же в чате долгое время был застой -- сообщения отображаются с оригинальными временами.
  А если застой был совсем долгим -- к timestamp-у добавляется день и месяц.
• Система периодических и приветственных оповещений (inform.lua)
  Позволяет показать определенное сообщение разным классам пользователей при входе: всем пользователям, только зареганным, или только незареганным, а также выводить в общий чат (циклически) одно их периодических сообщений, задаваемых в наборе текстовых файлов, с определенным интервалом времени.
  Она же позволяет выводить различный MOTD для пользователей, входящих через инет и через локальную сеть (class А, 10.*.*.*).
• Система контроля диапазонов IP-адресов и префиксов для ников пользователей (ipcontrol.lua)
  Система позволяет контролировать вход на хаб с различных диапазонов адресов.
  Можно запретить вход с определенных диапазонов, можно выдавать некоторый текст юзерам конкретного диапазона,
  можно требовать (или рекомендовать) поставить определенный префикс перед ником.
  (исторический комментарий: эта функция исходно делалась для хаба Корбины, на котором префиксами ников обозначались районы Москвы).
  new in 0.30: Вывод в лог попыток захода с диапазонов, которых вообще нет в базе.
• Блокировка привата (pmblock.lua)
  Система позволяет заблокировать приват для всех, кроме нескольких "любимых" пользователей (по умолчанию -- не более 5 человек, значение меняется в настройках)
• Запись в логи входов и выходов (prolog.lua)
  new in 0.27: Добавлена возможности записи логов чата в формате XML, который легко отобразить на сайте (например портале хаба) - дает возможность ещё до захода на хаб почитать, что пишут в чате.
• VipChat (vipchat.lua) :
  аналог OpChat-а, только для юзеров с профилем 0,1 и 2.
• WL-translator (translate.lua) : скрипт распознает слова, часто набираемые не в той раскладке ('ghbdtn dctv' вместо 'привет всем') и автоматически переводит их.
  Словарь расширяемый, хранится в текстовом файле (в папке DataBase)
• Контроль ников, похожих на ники администраторов (antiop.lua)
  Скрипт запрещает вход на хаб юзерам с никами, похожими (по вхождению) на ники администрации.
  new in 0.24: Похожесть ников теперь проверяется более строго, с учетом похожих русских и латинских букв.
  new in 0.30: Слишком короткие ники операторов (3 буквы и менее) теперь игнорируются (слишком много совпадений).
• Контроль массовых рассылок (amassmsg.lua)
  Несмотря на могучий deflood в самой PtokaX, пришлось сделать средство для продвинутой борьбы со спамерами. Если юзер быстро рассылает сообщения разным юзерам, его отправляют "помыться в бане". ВременнЫе константы задаются в настройках хаба. new in 0.23: Добавлена настройка -- минимальная длина сообщения, на которую срабатывает скрипт (по умолчанию 10 символов).
• new in 0.23 Запрет на долгое присутствие на хабе незарегистрированным юзерам (kickunreg.lua)
  (Скрипт делался по индивидуальному запросу, по умолчанию отключен). Если юзер незареган и просидел на хабе более 5 минут, его кидает с хаба.
• new in 0.24 Anti-command (acmd.lua)
  Скрипт, не пропускающий в чат необработанные хабом команды. Особенно полезен при ошибках в скриптах, иногда приводящих к тому что текст команды попадает в чат (при этом он может содержать текст, который другие видеть не должны).
• new in 0.26 HubManager (hubman.lua)
  Скрипт для управления скриптами хаба. Пока содержит команды +srun (запуск/перезапуск), +slist и +set(min|max)share, менюшка будет позже.
• Система Прогрессирующих Банов (bans.lua)
  Скрипт для управления прогрессирующим забаниванием нарушителей (время * кол_во нарушений) и удобной менюшкой для бана за некорректную шару.
  new in 0.31: Добавлена система автоматических банов за запрещенные файлы в шаре (порнуха, etc). Скрипт автоматически ищет файлы по TTH по своей базе. База редактируется командами хаба или через меню; можно добавлять сразу по несколько TTH, причем можно скармливать командам любой текст, в котором содержатся магнет-ссылки - мусор будет проигнорирован. По каждому TTH ведется статистика, сколько раз по нему производились баны. Время бана - прогрессирующее, в зависимости от количества наказаний.
  Те TTH, которые не использовались слишком долго (временные константы задаются настройками), автоматически удаляются из базы.
  0.32:
  * улучшена команда +tthlist, теперь при 8000 записей в базе и вызове с параметром --all от хаба не отрубает ;-)
  * добавлена опция +tthlist <n> - показать статистику по top-N записям
  * добавлена команда вывода обобщенной статистики +tthstat: выводит первые top-5 записей, и "хвост" базы с малым числом срабатываний, показывая количество и процентное содержание записей с 0,1,..,MIN_TRIG_COUNT срабатываниями.

уф... ну кажется всё. есть ещё некоторые мелкие скрипты, не столь достойные описания.

В папке scripts также имеется каталог dmvn-lib.
Самый важный файл там -- hubconf.lua -- это настройки перечисленных выше скриптов.
Остальные файлы в нем являются компонентами библиотеки и не являются скриптами для хаба в истинном смысле этого слова -- это просто набор функций, констант и прочих определений.

Все скрипты написаны более-менее с нуля, разве что регистрация -- по мотивам модифицированного HubbaBot-а. Единственное, что тут уцелело из хуббы -- так это функция StringLower для русского текста. Никакого готового (чужого) кода тут само собой нет, это не "сборник" скриптов, а независимая разработка.

Разумеется, каждую из перечисленных фичей в отдельности можно отключить, просто сняв галочку с соответствующего скрипта.
Вот только порядок скриптов не меняйте сильно, пока не поймете как оно там работает.
Можете использовать "как есть", можете дорабатывать скрипты для себя, но, пожалуйста, не уничтожайте оригинальных копирайтов и ссылок на домашнюю страницу проекта.

Насчёт SMTP-сервера: годится любой, например халявный OfficeMailServer или чё-нить юниксовое (скрипты, кстати, будут работать и на *nix).

Данная система скриптов успешно работает на моем хабе dchub://dc.dmvn.net:1441
Если есть вопросы -- заходите, спрашивайте... но лучше сначала читайте исходники

копирайты и копилефты:
© dmvn, 2007-2014;
Благодарности: NRJ, Rivia за идеи и базу некоторых скриптов, Yokel за советы, идеи и самое главное -- качественное тестирование бета-верий,
а также всем пользователям КорбиныТелеком за тестирование ранних реализаций этих и других скриптиков (в особенности антимата )

сегодня вечером, надеюсь, будет подробный HOW-to как раз про ваш ЦентОСъ.
но не здесь, а в другом разделе -- в той же теме что и про FC/suse.

Наконец у меня дошли руки выложить обещанную версию 0.31 с "автобаном".

Список изменений (на этот раз переведенный)

Хотел глянуть что за "детище" а ссыль битые, автор жЫв?

Скачал, поставил, запустил. Так и не понял, где находится быстрая регистрация
Из файла hubconf.lua

Если ставить "оба false", то

Выключая скрипт users.lua выключается не только регистрация, то ещё и заглушки. Не совсем понимаю идею разделения по файлам. Как по мне, если потом отключать некоторые скрипты, так лучше антимат и заглушку вместе в 1 файле держать, а регистрация каждому на вкус и цвет: мне другая нравится.
В общем пока не юзаю по этой причине. Попрежнему ищу альтернативу антимата и заглушки Хуббабота, но пока не нашёл.

да, похоже это просто баг по идее он должен был написать что доступна только быстрая рега. это я починю, спасибо!
мы просто ее как-то практически не юзали, поэтому и не заметили...

а логика тут такая.
глушить незареганных юзеров - в каком-то смысле бесперспективно. они меняют ники, и т.п.
банить по IP - жестоко, особенно если нужно запретить только чат.
поэтому мы обычно разрешаем чат только зареганным, и именно поэтому система рег и заглушек тесно связана.
если есть заглушки на нике, то его уже нельзя поменять, и т.п. (это может сделать только Админ, Опы не могут).

и собсно говоря, если я не ошибаюсь, там проблема только в приветственном сообщении, а сама быстрая рега работать будет.
я проверю это всё в ближайшее время, если там действительно баги - поправлю и выложу апдейт.
вообще говоря, апдейт я и так бы скоро выложил, поскольку допиливал систему автобанов.

Итак, как и было обещано, версия 0.32 (юбилейная в программерском смысле) наконец-то появилась.

Самое важное - исправлено два гнусных бага в модуле регистрации.
Первый - с быстрой регистрацией (я умудрился в процессе рефакторинга продолбать целую функцию ;-) )
Второй - с сохранением БД регистраций, там не заполнялось поле .time и от этого иногда получалась лажа.
В общем, прошу любить и жаловать качать и тестировать ;-)

Доброго всем! я вот то же наблюдаю за произвидением и проблему с регой решить не палучается.

Вот с этого места поподробней. Версия самая последняя, вчера выложенная?
и если да, то покажите настройки переменных в hubconf в таблице RegSett.

для быстрой реги должно быть так:


я это проверял, у меня таки работает. да, оно просит при реге ввести почтовый ящик - но он не используется, если вы не используете почтовый модуль (bMailOn = false).

напишите сюда ваш конфиг и сообщения хаба - что он пишет при попытке зарегаться и т.п.

то что я от сюда скачал(текущая версия) небыло 3тьего варианта "bUseWebReg = false," там пусто было,сейчас проверю отпишусь за работаспособность.Я давно не занемался этитм делом а хаб стоит уже давно ,вот решил поменять.За то что делашь спс огромнейшее.

рега робит-все отлично.Вставил третьий вариант что ты паказал,смотрю дальше.Помойму не робит история чата.только надпись видна ( === Последние сообщения в чате: === ).Вставлял скрипт истории ошибок небыло -все показывало.Напоминаю что я вроде как знаю что делать но на самом деле нифига не знаю!Мелкие обрывки памяти.

В общем большое спс! разобрался,все работает только несколько скриптов отрубил и добавил один свой!еще раз спасибо!!!Автору низкий поклон!только вопрос я не помню какие порты стояли,один точно 411 а вот udp такойже или нет?

спасибо за тестирование =) UDP-порт - вообще говоря пофигу, совпадает он или нет. У меня стоит 2411 (в точности как по умолчанию в PtokaX).

кстати. на всякий случай имейте ввиду порядок скриптов - свои скрипты лучше помещать в начале списка, чтобы обработчики не перекрывались. Порядок скриптов самого InstaHub достаточно строгий и его менять нельзя (почти). Например, скрипт acmd блокирует необработанные команды - если команда вида +xxxxx дошла до него, он не пропускает ее в чат.
Соответственно, такие вещи стоит учитывать в зависимости от того, что именно делают ваши скрипты. Помещение их в начало списка очевидно гарантирует то, что любая команда или иной отправленный на хаб текст, будет ими обработан. Ну, конечно, если у скрипта вообще нету как таковых управляющих им команд, тогда ему пофиг где находиться (скажем, если скрипт просто раз в 15 минут анекдоты в чат кидает )

А более новые версии PtokaX почему не используются?

Скорее по историческим причинам... Ввиду стабильности PX острой необходимости в обновлении его нету, новых фич там тоже нету, судя по changelog-ам.
Но заменить версию 411 на 412 в дистрибе пожалуй, стоит, спасибо за замечание. Я уже про это думал, когда вышла новая версия, но вследствие некритичности решил это дело отложить.

а такой вариант собрать под меня со скриптами?разумеется не бесплатно но и в разумных приделах ))) www.novix-v@list.ru (www-обязательно)

Напиши здесь чётко, по пунктам, и поподробнее, что именно нужно сделать, а то пока совершенно не ясно...
Писать скрипты чисто на заказ я не очень хочу, ибо времени мало. Другое дело, если речь идёт о доработках скриптов, которые потом можно будет включить в дистрибутив InstaHub.
Но всё равно, поставь задачу сначала - а там видно будет.

[текст отредактирован модератором].

Ты вообще читал с самого начала тему?
Всё то, что ты описываешь, уже внедрено в предлагаемое устройство.
Ты не написал ничего такого, что бы отличалось от сделанного.

ну кстати, "реклама" делается с помощью периодических сообщений, скрипт inform.lua
периодичность и количество - всё настраивается.
это раз.

остальной поток сознания без единой запятой я мягко скажем, почти не осилил

Доброго времени суток!Это опять мы-лютики ,часть вторая.Хаб работает отлично!с последнего визита сюды ни отдного косяка.Вот только вопрос:хде убрать что бы опам не приходил спам от бота?очень напрягает!спам- сообщения о регистрации,мат и т.д.

Это не спам, это логи всё-таки =)
Почти во всех скриптах есть такая функция


spbmov означает Send PM from Bot to Masters, Operators, VIPs.
соответственно, можно заменить ее на другую (spbm, например) - тогда оно будет идти исключительно мастеру.
а можно закомментировать вообще ее вызов - тогда не будет никому.

Это конечно временное решение. вообще говоря, нужно сделать настройку, которая бы это регулировала. Будет время - сделаю.
но я бы оставил хотя бы один профиль (скажем, master), которому таки эти сообщения доставляются всегда...
Основное назначение этих логов - отладка, обычным юзерам она конечно без надобности. Но если что-то работает не так как надо, то они очень помогают.
Вот. ещё раз спасибо за тестирование