Instahub, Instant PtokaX-based Hub with scripts (API2)

InstaHub 0.40

Текущая версия: http://dc.dmvn.net/files/instahub/instahub.tgz
Ссылка на страничку проекта: http://dc.dmvn.net/ Документация временно отсутствует, но скоро появится в новом виде.

Итак, вашему вниманию предлагается отечественная разработка в области тяжелого хабостроения.
Это хаб на базе PtokaX 0.501, с уже готовыми скриптами и всем прочими нужными файлами, настроенный и готовый к немедленному запуску (отсюда и название проекта).

Хаб оснащен следующим скриптовым функционалом:

• Система регистрации users.lua:
  Поддерживаются 4 независимых режима:
  1) быстрая регистрация (a-la regme),
  2) регистрация через запрос к операторам хаба (юзер подает заявку, операторы ее подтверждают),
  3) регистрация через почту (для работы требуется какой-нибудь smtp-сервер).
  4) через веб-интерфейс (требует веб-сервера, понимающего PHP, с поддержкой сокетов); соответствующий PHP-скрипт будет выложен чуть позже.
  Регистрация включает в себя контроль чата:
  заглушки бывают 4 типов -- короткие, без записи наказания в журнал; длительные ("несгораемые"), с записью нарушения в базу (длительность равна количеству уже имеющихся несгораемых нарушений; постоянные -- "пожизненные" заглушки на очень длительный срок. Все периоды наказаний задаются в настройках. Операторы хаба и пользователи с профилем 2 (VIP) имеют менюшку для управления заглушками. Операторы имеют возможность также досрочно снимать заглушки, а мастер -- прощать юзера (то есть снимать несгораемое нарушение).
  Имеется константа, задающая максимальное количество несгораемых нарушений, после которого ставится постоянная заглушка.
  Система включает в себя контроль приватного общения (при некоторых настройках заглушенные юзеры лишаются и привата в том числе).
  Имеется функция восстановления паролей через почту (при наличии smtp-сервера), автоматическую очистку "старых" аккаунтов, поиск по базе, смена ников, удаление аккаунтов, вывод таблицы заглушенных и многое другое. Также реализована возможность смены профилей пользователей (удобно для назначения/снятия операторов), функция для вывода всех юзеров заданного профиля.
  Название и адрес хаба теперь включаются в почтовые сообщения (чтобы юзер понимал с какого хаба ему пришло письмо о регистрации).
  Веб-регистрация поддерживает повторную посылку кода подтверждения и восстановление пароля; Имеются параметры SMTPUser, SMTPPass
  для отправки почты (можно использовать не только локальный smtp-сервер).
  v0.25: Произведен рефакторинг кода скрипта, унифицированы некоторые сообщения и обработка ошибок.
  v0.26: Добавлен контроль частоты отправляемых почтовых сообщений с сервера (для предотвращения почтового флуда). Минимальный интвервал задаётся в настройках.
  new in v0.28: Добавлена команда +regmakeop (для мастера), дающая права оператора зарегистрированному юзеру (раньше надо было вручную удалить регу и зарегать юзера с правами оператора средствами PtokaX); исправлено два критических бага в GagByTime и DBRegAdd().
  v0.30: Много изменений:
  * Улучшенная проверка целостности базы, некоторые полезные команды для админа БД (Master only) - синхронизация баз, автоматическое удаление битых регистраций;
  * Улучшенные команды поиска и удаления регистраций (поиск по подстроке, в том числе во внутренней базе PtokaX);
  * Время автосохранения уменьшено до 20 минут;
  * Вызов RegMan.Save() при сохранении собственной БД;
  * Отправка почты: более корректная обработка входных параметров; возможность использовать smtp-сервера без авторизации (вообще без логина/пароля) (thx Inkognito)
  v0.32:
  * исправлен баг в быстрой регистрации, теперь она работает. спасибо за репорт.
  * исправлен редко проявляющийся баг с сохранением БД и полем .time (появился в версии 0.25)
• Система новинок (релизов) newfiles.lua
  Имеется база пользователей, снабженных правами релизеров. Они имеют возможность пополнять список новинок (релизов на хабе).
  Список новинок имеет древесную структуру (произвольной глубины вложенности), каждый релиз может содержать набор из одной или нескольких магнет-ссылок.
  Для пользователей имеется меню, отражающее структуру категорий новинок, можно вывести себе либо всё дерево (в хронологическом порядке добавления с делением на категории), либо некоторую его часть. Для релизеров это меню содержит также пункты добавления новинок в соответствующую категорию, а для операторов -- возможность добавления и удаления категорий новинок. Имеется также поиск по новинкам (по TTH или по тексту). Релизы хранятся в базе определенное время, задаваемое в настройках, потом автоматически удаляются.
  new in 0.29: Добавлена команда +nlsuser для операторов, выводящая список релизеров.
• Система анти-спама: antiadv.lua
  Контроль нежелательных сообщений в приваты, заточенный в основном на борьбу с рекламой хабов и других ресурсов в привате. Базы нежелательных IP-адресов, DNS-имен, детектируемых как спам, хранятся в текстовых файлах в читаемом и легко редактируемом формате.
  Система учитывает количество и частоту отправленных подозрительных сообщений, при достижении определенного количества (задаётся в настройках) наступает возмездие в форме бана.
  new in 0.30: Слишком длинные спамные сообщения пользователей, отображаемые в логах, теперь обрезаются (константа в скрипте).
• Система антимата в чате и для ников пользователей amfilter.lua
  Маленький, но отлаженный и отточенный годами фильтр антимата с относительно компактной базой великих слов живого русского языка и исключений. Написание слов через пробелы, знаки препинания, некоторое коверкание слов и албанские варианты также успешно отслеживаются. Эта же система контолирует регистрацию нецензурных ников.
  Корректно отслеживаются сочетания символов, напоминающих буквы (типа >< -- буква 'х', и тд.), а также делается отдельная проверка ника и самого сообщения.
  Есть опция, по которой сообщение с недопустимым текстом показывается юзеру, а текст выделяется фигурными скобками.
• Контроль флуда и ора в чате
  Система контролирует ОР (написание заглавными буквами), и флууууууууд -- повторения символов. Сначала бот вежливо предупредит юзера, что так лучше не делать, а если просьба не будет выполнена, разозлится и влепит заглушку чата. (с точки зрения кода, скрипт интегрирован в систему регистраций).
• Система anti-leech (aleech.lua)
  Относительно стандартный антилич, запрещающий скачивать файлы юзерам, расшарившим слишком мало (пропорционально объему шары).
• Запрет поиска пользователям с очень малой шарой (asearch.lua)
  При настройках по умолчанию -- при шаре менее 5 гб поиск не доступен.
• Скрипт статистики (stat.lua)
  Показывает текущее/среднее-за-период/максимальное количество юзеров на хабе, а также аналогичные параметры общей шары хаба.
  Реализован подсчет количества юзеров, шара которых попадает в определенный диапазон (команда +sdist).
  В таблице рекордов пишется время достижения рекорда.
• Список лучших пользователей хаба (hubtop.lua)
  Ведется список лучших пользователей -- тех, кто расшарил как можно больше и просидел на хабе как можно дольше (учитывается "чистое" время)
  Учтены замечания пользователей (вывод шары в гигабайтах/терабайтах/мегабайтах),
  интеграция команд +top и +ntop, убраны повторения timestamp-ов.
• История сообщений в чате (chathist.lua)
  Последние сообщения в чате показываются при входе на хаб.
  Если последнее сообщение было написано недавно (относительно входа юзера), то время сообщений не отображается (берется текущее), при это сообщения внешне не выделяются из общего чата -- как будто их только что написали сами пользователи, а не скрипт. Если же в чате долгое время был застой -- сообщения отображаются с оригинальными временами.
  А если застой был совсем долгим -- к timestamp-у добавляется день и месяц.
• Система периодических и приветственных оповещений (inform.lua)
  Позволяет показать определенное сообщение разным классам пользователей при входе: всем пользователям, только зареганным, или только незареганным, а также выводить в общий чат (циклически) одно их периодических сообщений, задаваемых в наборе текстовых файлов, с определенным интервалом времени.
  Она же позволяет выводить различный MOTD для пользователей, входящих через инет и через локальную сеть (class А, 10.*.*.*).
• Система контроля диапазонов IP-адресов и префиксов для ников пользователей (ipcontrol.lua)
  Система позволяет контролировать вход на хаб с различных диапазонов адресов.
  Можно запретить вход с определенных диапазонов, можно выдавать некоторый текст юзерам конкретного диапазона,
  можно требовать (или рекомендовать) поставить определенный префикс перед ником.
  (исторический комментарий: эта функция исходно делалась для хаба Корбины, на котором префиксами ников обозначались районы Москвы).
  new in 0.30: Вывод в лог попыток захода с диапазонов, которых вообще нет в базе.
• Блокировка привата (pmblock.lua)
  Система позволяет заблокировать приват для всех, кроме нескольких "любимых" пользователей (по умолчанию -- не более 5 человек, значение меняется в настройках)
• Запись в логи входов и выходов (prolog.lua)
  new in 0.27: Добавлена возможности записи логов чата в формате XML, который легко отобразить на сайте (например портале хаба) - дает возможность ещё до захода на хаб почитать, что пишут в чате.
• VipChat (vipchat.lua) :
  аналог OpChat-а, только для юзеров с профилем 0,1 и 2.
• WL-translator (translate.lua) : скрипт распознает слова, часто набираемые не в той раскладке ('ghbdtn dctv' вместо 'привет всем') и автоматически переводит их.
  Словарь расширяемый, хранится в текстовом файле (в папке DataBase)
• Контроль ников, похожих на ники администраторов (antiop.lua)
  Скрипт запрещает вход на хаб юзерам с никами, похожими (по вхождению) на ники администрации.
  new in 0.24: Похожесть ников теперь проверяется более строго, с учетом похожих русских и латинских букв.
  new in 0.30: Слишком короткие ники операторов (3 буквы и менее) теперь игнорируются (слишком много совпадений).
• Контроль массовых рассылок (amassmsg.lua)
  Несмотря на могучий deflood в самой PtokaX, пришлось сделать средство для продвинутой борьбы со спамерами. Если юзер быстро рассылает сообщения разным юзерам, его отправляют "помыться в бане". ВременнЫе константы задаются в настройках хаба. new in 0.23: Добавлена настройка -- минимальная длина сообщения, на которую срабатывает скрипт (по умолчанию 10 символов).
• new in 0.23 Запрет на долгое присутствие на хабе незарегистрированным юзерам (kickunreg.lua)
  (Скрипт делался по индивидуальному запросу, по умолчанию отключен). Если юзер незареган и просидел на хабе более 5 минут, его кидает с хаба.
• new in 0.24 Anti-command (acmd.lua)
  Скрипт, не пропускающий в чат необработанные хабом команды. Особенно полезен при ошибках в скриптах, иногда приводящих к тому что текст команды попадает в чат (при этом он может содержать текст, который другие видеть не должны).
• new in 0.26 HubManager (hubman.lua)
  Скрипт для управления скриптами хаба. Пока содержит команды +srun (запуск/перезапуск), +slist и +set(min|max)share, менюшка будет позже.
• Система Прогрессирующих Банов (bans.lua)
  Скрипт для управления прогрессирующим забаниванием нарушителей (время * кол_во нарушений) и удобной менюшкой для бана за некорректную шару.
  new in 0.31: Добавлена система автоматических банов за запрещенные файлы в шаре (порнуха, etc). Скрипт автоматически ищет файлы по TTH по своей базе. База редактируется командами хаба или через меню; можно добавлять сразу по несколько TTH, причем можно скармливать командам любой текст, в котором содержатся магнет-ссылки - мусор будет проигнорирован. По каждому TTH ведется статистика, сколько раз по нему производились баны. Время бана - прогрессирующее, в зависимости от количества наказаний.
  Те TTH, которые не использовались слишком долго (временные константы задаются настройками), автоматически удаляются из базы.
  0.32:
  * улучшена команда +tthlist, теперь при 8000 записей в базе и вызове с параметром --all от хаба не отрубает ;-)
  * добавлена опция +tthlist <n> - показать статистику по top-N записям
  * добавлена команда вывода обобщенной статистики +tthstat: выводит первые top-5 записей, и "хвост" базы с малым числом срабатываний, показывая количество и процентное содержание записей с 0,1,..,MIN_TRIG_COUNT срабатываниями.

уф... ну кажется всё. есть ещё некоторые мелкие скрипты, не столь достойные описания.

В папке scripts также имеется каталог dmvn-lib.
Самый важный файл там -- hubconf.lua -- это настройки перечисленных выше скриптов.
Остальные файлы в нем являются компонентами библиотеки и не являются скриптами для хаба в истинном смысле этого слова -- это просто набор функций, констант и прочих определений.

Все скрипты написаны более-менее с нуля, разве что регистрация -- по мотивам модифицированного HubbaBot-а. Единственное, что тут уцелело из хуббы -- так это функция StringLower для русского текста. Никакого готового (чужого) кода тут само собой нет, это не "сборник" скриптов, а независимая разработка.

Разумеется, каждую из перечисленных фичей в отдельности можно отключить, просто сняв галочку с соответствующего скрипта.
Вот только порядок скриптов не меняйте сильно, пока не поймете как оно там работает.
Можете использовать "как есть", можете дорабатывать скрипты для себя, но, пожалуйста, не уничтожайте оригинальных копирайтов и ссылок на домашнюю страницу проекта.

Насчёт SMTP-сервера: годится любой, например халявный OfficeMailServer или чё-нить юниксовое (скрипты, кстати, будут работать и на *nix).

Данная система скриптов успешно работает на моем хабе dchub://dc.dmvn.net:1441
Если есть вопросы -- заходите, спрашивайте... но лучше сначала читайте исходники

копирайты и копилефты:
© dmvn, 2007-2014;
Благодарности: NRJ, Rivia за идеи и базу некоторых скриптов, Yokel за советы, идеи и самое главное -- качественное тестирование бета-верий,
а также всем пользователям КорбиныТелеком за тестирование ранних реализаций этих и других скриптиков (в особенности антимата )

Продолжаем погружаться в кроличью нору. Ищем переменную sBanLogFile. Находим ее инициализацию в 46 строке. Или ее где-то сбросили в nil. что весьма сомнительно, так как она локальна, или же вызов LogYM был в другом месте.

Прикрепляю папку со служебными скриптами. Не в них не в bans.lua нет local sBanLogFile.

О да. Нет. Как же. А строчку откуда я вытащил? Из прикрепленного файла выше. 46 строка.

Раскоментил ту строчку, прописал пути в службных скриптах и bans.lua. Скрипт завёлся, полёт нормальный, ошибок нет. Спасибо!

Если кто ещё пользуется этим проектом, то можно меил отключить в этой сборке и просто добавиль обычную регу приэтом всё будет работать так-же
Открываем скрипт user.lua
в строке
поменяйте значение 0 на -1

поменяйте местами в

на это

это избавит вас от меню востановления пароля
в строке 138
поменяйте на это
в скрипте hubconf.lua измените на это

всё теперь можно любой скрипт реги добавить и поместить его пот скрипт user.lua будет меню только добавленого скрипта старого меню реги не будет

но моё мнение лучше как есть в некоторых случаях можно сделать так от жёстких спамов

но как говорится все фломастеры разные каждому своё

Выдернул скрипт антимат из этого проекта теперь не нужна дополнительная папка для его работы
Система антимата в чате и для ников пользователей amfilter.lua
Маленький, но отлаженный и отточенный годами фильтр антимата с относительно компактной базой великих слов живого русского языка и исключений. Написание слов через пробелы, знаки препинания, некоторое коверкание слов и албанские варианты также успешно отслеживаются.
Эта же система контолирует регистрацию нецензурных ников.

Так-с, отвечаю на некоторые вопросы...
1) Автор жив (как в том анекдоте - не дождетесь (с) )
2) Проект действительно был несколько заброшен в связи с разными причинами, в том числе в связи с физической недоступностью сервера, на котором все это крутилось.
3) В очень недалеком будущем все это оживет, я надеюсь успеть до начала 2014 года.

Есть некоторые изменения - мой хаб будет работать на linux, соответственно тестирование скриптов под виндой ложится на конечных потребителей продукта.
Но в случае чего - будем разбираться вместе.

Стабильная доступность сорцов будет обеспечена нахождением всего этого барахла на внешнем сервере в инете, а не у меня под столом, как это было все эти годы

Сейчас я активно тестирую PtokaX 0.5.0.0, уже нашел там два серьезных бага, один из которых для меня, увы, пока блокирует использование этой версии :( Автор не заморачивается юнит-тестированием своего кода, поэтому... ладно, не будем о грустном. В целом, его поделие достаточно качественное, чтобы его направо и налево ругать, хотя заглянув в кишки сорцов, я увидел много удивительного.
Пока что это всё означает, что будем юзать 0.4.х, а вот какую именно - покажет время.

Да, спасибо за спасение последней версии скриптов для всеобщего пользования
Ссылки в верхнем посте поправлю.

Оба этих бага автор уже исправил в релизе 0.5.0.1.

Да, я в курсе, я их сам вот как раз сегодня перепроверил. Так что скорее всего получится остаться на 5.0.1.
Осталось проверить, что скрипты не поломались на юниксовой версии.

Так-с, я наконец-то реанимировал свой хаб и ссылки на дистрибутивы InstaHub, ссылки в первом посте обновлены!

Теперь он живет под линуксом и сменил адрес на dc.dmvn.net:1441.
Скрипты пришлось чуть-чуть подправить, и новая версия далее будет развиваться в основном для nix-систем.
Во всяком случае, тестировать ее под виндами я не буду.

Новая версия дистрибутива с инсталлятором для unix-систем будет выложена в ближайшем времени по тем же адресам.
Возможно, инсталлер вызовет массу холиваров и вопросов, потому что способов установить программу и ее конфиги в линухах такое множество...
Об одной только раскладке файлов можно спорить до бесконечности, вот только сама ptokax так устроена, что проще все ее потроха держать рядом, а не раскладывать по разным местам вроде /usr/bin/ и /etc/.

dmvn,

Да-да, спасибо) уже пофиксил.
Сейчас снова взялся за рефакторинг скриптов, ибо осознал, что многое было сделано тяп-ляп.

ага, особенно...

Э... чё-то я не понял наброса Цифры вроде правильные, они сохранились ещё с давних времен.
То что не одним сообщением, а кучей разных? Если да, то это ещё фигня, есть масса других вещей, которые сделаны не по-людски, причем скорее именно в коде, а не в том, что видит пользователь.

В новой версии, которую я сейчас тестирую, будет много изменений, правда скорее всего переход на нее будет не таким простым.
0) Новая версия PtokaX 0.5.0.1
1) Наконец-то поменялся вид конфига hubconf.lua - теперь заменять надо будет только те поля, которые специфичны для хаба
2) пересмотрена система директорий: базы отдельно, конфиги и тексты - отдельно. Имена файлов тоже поменялись (как именно - подробно напишу в чендж-логе), форматы сохранены.
3) Переделано логирование. Отдельных лог-файлов стало меньше.
4) Добавлен и местами уже используется в скриптах глобальный debug level
5) Сделан инсталлятор для unix-версий, который дает возможность отдельно обновлять скрипты, а отдельно - свои конфиги
6) Сделан init.d-скрипт для сервиса
7) Мелкие багфиксы, в т.ч. в антимате
8) Пофиксена жутко старая, но надоевшая проблема - контроль наличия файлов б/д и ошибок при чтении/записи. Теперь всё нормально создаётся при первом запуске, при ошибках записи ругается админам и срёт в лог, и тд.
9) Прикручены менюхи к некоторым "чисто админским скриптам". А то я за 3 года уже забыл, как некоторые команды назывались и что они вообще есть До этого пользовался "консолью" и всё помнил наизусть, и думал что и так сойдет))
10) Прикручен простой шаблонизатор текстовых сообщений (а то достало адрес хаба прописывать в 10 местах). Потом он будет радикально улучшен и распространен на скрипты.
Появилась возможность использовать переменные типа @@HUB_ADDRESS@.

Пока всё вроде. Версионирование видимо придётся сменить на 0.4х.

Итак, новый релиз наконец-то опубликован.

http://dc.dmvn.net/files/instahub/instahub.tgz Версия 0.40, чендж-лог чуть выше. Как юзать, как ставить - будут инструкции, пока можно просто посмотреть и разобраться самому.
В двух словах: в архиве по сути две директории - ih-core и ih-config.
В каждой из них есть скрипты install-core.sh и install-cfg.sh соответственно, сначала ставим ядро, потом конфиг.
Причем, вы можете свои конфиги хранить прямо в этой папочке, при необходимости обновлять повторным запуском скрипта. Аналогично с core-частью - она копируется независимо, конфиги не портит, ничего лишнего не удаляет.
Ещё у install-core.sh есть флаг -l для локальной установки в папку ~/hub/ текущего юзера (дефолтное поведение - создаётся юзер ptokax, и хаб работает с привилегиями этого юзера, а не рута, разумеется).
Извиняюсь за сумбурность изложения, в общем - пока посмотрите "как есть", увидите баги/косяки скриптов и инсталлятора - сообщайте, можно с копией мне в почту для быстрого реагирования.

А здесь http://dc.dmvn.net/ в скором времени вырастет домашняя страница проекта.