Instahub, Instant PtokaX-based Hub with scripts (API2)

InstaHub 0.40

Текущая версия: http://dc.dmvn.net/files/instahub/instahub.tgz
Ссылка на страничку проекта: http://dc.dmvn.net/ Документация временно отсутствует, но скоро появится в новом виде.

Итак, вашему вниманию предлагается отечественная разработка в области тяжелого хабостроения.
Это хаб на базе PtokaX 0.501, с уже готовыми скриптами и всем прочими нужными файлами, настроенный и готовый к немедленному запуску (отсюда и название проекта).

Хаб оснащен следующим скриптовым функционалом:

• Система регистрации users.lua:
  Поддерживаются 4 независимых режима:
  1) быстрая регистрация (a-la regme),
  2) регистрация через запрос к операторам хаба (юзер подает заявку, операторы ее подтверждают),
  3) регистрация через почту (для работы требуется какой-нибудь smtp-сервер).
  4) через веб-интерфейс (требует веб-сервера, понимающего PHP, с поддержкой сокетов); соответствующий PHP-скрипт будет выложен чуть позже.
  Регистрация включает в себя контроль чата:
  заглушки бывают 4 типов -- короткие, без записи наказания в журнал; длительные ("несгораемые"), с записью нарушения в базу (длительность равна количеству уже имеющихся несгораемых нарушений; постоянные -- "пожизненные" заглушки на очень длительный срок. Все периоды наказаний задаются в настройках. Операторы хаба и пользователи с профилем 2 (VIP) имеют менюшку для управления заглушками. Операторы имеют возможность также досрочно снимать заглушки, а мастер -- прощать юзера (то есть снимать несгораемое нарушение).
  Имеется константа, задающая максимальное количество несгораемых нарушений, после которого ставится постоянная заглушка.
  Система включает в себя контроль приватного общения (при некоторых настройках заглушенные юзеры лишаются и привата в том числе).
  Имеется функция восстановления паролей через почту (при наличии smtp-сервера), автоматическую очистку "старых" аккаунтов, поиск по базе, смена ников, удаление аккаунтов, вывод таблицы заглушенных и многое другое. Также реализована возможность смены профилей пользователей (удобно для назначения/снятия операторов), функция для вывода всех юзеров заданного профиля.
  Название и адрес хаба теперь включаются в почтовые сообщения (чтобы юзер понимал с какого хаба ему пришло письмо о регистрации).
  Веб-регистрация поддерживает повторную посылку кода подтверждения и восстановление пароля; Имеются параметры SMTPUser, SMTPPass
  для отправки почты (можно использовать не только локальный smtp-сервер).
  v0.25: Произведен рефакторинг кода скрипта, унифицированы некоторые сообщения и обработка ошибок.
  v0.26: Добавлен контроль частоты отправляемых почтовых сообщений с сервера (для предотвращения почтового флуда). Минимальный интвервал задаётся в настройках.
  new in v0.28: Добавлена команда +regmakeop (для мастера), дающая права оператора зарегистрированному юзеру (раньше надо было вручную удалить регу и зарегать юзера с правами оператора средствами PtokaX); исправлено два критических бага в GagByTime и DBRegAdd().
  v0.30: Много изменений:
  * Улучшенная проверка целостности базы, некоторые полезные команды для админа БД (Master only) - синхронизация баз, автоматическое удаление битых регистраций;
  * Улучшенные команды поиска и удаления регистраций (поиск по подстроке, в том числе во внутренней базе PtokaX);
  * Время автосохранения уменьшено до 20 минут;
  * Вызов RegMan.Save() при сохранении собственной БД;
  * Отправка почты: более корректная обработка входных параметров; возможность использовать smtp-сервера без авторизации (вообще без логина/пароля) (thx Inkognito)
  v0.32:
  * исправлен баг в быстрой регистрации, теперь она работает. спасибо за репорт.
  * исправлен редко проявляющийся баг с сохранением БД и полем .time (появился в версии 0.25)
• Система новинок (релизов) newfiles.lua
  Имеется база пользователей, снабженных правами релизеров. Они имеют возможность пополнять список новинок (релизов на хабе).
  Список новинок имеет древесную структуру (произвольной глубины вложенности), каждый релиз может содержать набор из одной или нескольких магнет-ссылок.
  Для пользователей имеется меню, отражающее структуру категорий новинок, можно вывести себе либо всё дерево (в хронологическом порядке добавления с делением на категории), либо некоторую его часть. Для релизеров это меню содержит также пункты добавления новинок в соответствующую категорию, а для операторов -- возможность добавления и удаления категорий новинок. Имеется также поиск по новинкам (по TTH или по тексту). Релизы хранятся в базе определенное время, задаваемое в настройках, потом автоматически удаляются.
  new in 0.29: Добавлена команда +nlsuser для операторов, выводящая список релизеров.
• Система анти-спама: antiadv.lua
  Контроль нежелательных сообщений в приваты, заточенный в основном на борьбу с рекламой хабов и других ресурсов в привате. Базы нежелательных IP-адресов, DNS-имен, детектируемых как спам, хранятся в текстовых файлах в читаемом и легко редактируемом формате.
  Система учитывает количество и частоту отправленных подозрительных сообщений, при достижении определенного количества (задаётся в настройках) наступает возмездие в форме бана.
  new in 0.30: Слишком длинные спамные сообщения пользователей, отображаемые в логах, теперь обрезаются (константа в скрипте).
• Система антимата в чате и для ников пользователей amfilter.lua
  Маленький, но отлаженный и отточенный годами фильтр антимата с относительно компактной базой великих слов живого русского языка и исключений. Написание слов через пробелы, знаки препинания, некоторое коверкание слов и албанские варианты также успешно отслеживаются. Эта же система контолирует регистрацию нецензурных ников.
  Корректно отслеживаются сочетания символов, напоминающих буквы (типа >< -- буква 'х', и тд.), а также делается отдельная проверка ника и самого сообщения.
  Есть опция, по которой сообщение с недопустимым текстом показывается юзеру, а текст выделяется фигурными скобками.
• Контроль флуда и ора в чате
  Система контролирует ОР (написание заглавными буквами), и флууууууууд -- повторения символов. Сначала бот вежливо предупредит юзера, что так лучше не делать, а если просьба не будет выполнена, разозлится и влепит заглушку чата. (с точки зрения кода, скрипт интегрирован в систему регистраций).
• Система anti-leech (aleech.lua)
  Относительно стандартный антилич, запрещающий скачивать файлы юзерам, расшарившим слишком мало (пропорционально объему шары).
• Запрет поиска пользователям с очень малой шарой (asearch.lua)
  При настройках по умолчанию -- при шаре менее 5 гб поиск не доступен.
• Скрипт статистики (stat.lua)
  Показывает текущее/среднее-за-период/максимальное количество юзеров на хабе, а также аналогичные параметры общей шары хаба.
  Реализован подсчет количества юзеров, шара которых попадает в определенный диапазон (команда +sdist).
  В таблице рекордов пишется время достижения рекорда.
• Список лучших пользователей хаба (hubtop.lua)
  Ведется список лучших пользователей -- тех, кто расшарил как можно больше и просидел на хабе как можно дольше (учитывается "чистое" время)
  Учтены замечания пользователей (вывод шары в гигабайтах/терабайтах/мегабайтах),
  интеграция команд +top и +ntop, убраны повторения timestamp-ов.
• История сообщений в чате (chathist.lua)
  Последние сообщения в чате показываются при входе на хаб.
  Если последнее сообщение было написано недавно (относительно входа юзера), то время сообщений не отображается (берется текущее), при это сообщения внешне не выделяются из общего чата -- как будто их только что написали сами пользователи, а не скрипт. Если же в чате долгое время был застой -- сообщения отображаются с оригинальными временами.
  А если застой был совсем долгим -- к timestamp-у добавляется день и месяц.
• Система периодических и приветственных оповещений (inform.lua)
  Позволяет показать определенное сообщение разным классам пользователей при входе: всем пользователям, только зареганным, или только незареганным, а также выводить в общий чат (циклически) одно их периодических сообщений, задаваемых в наборе текстовых файлов, с определенным интервалом времени.
  Она же позволяет выводить различный MOTD для пользователей, входящих через инет и через локальную сеть (class А, 10.*.*.*).
• Система контроля диапазонов IP-адресов и префиксов для ников пользователей (ipcontrol.lua)
  Система позволяет контролировать вход на хаб с различных диапазонов адресов.
  Можно запретить вход с определенных диапазонов, можно выдавать некоторый текст юзерам конкретного диапазона,
  можно требовать (или рекомендовать) поставить определенный префикс перед ником.
  (исторический комментарий: эта функция исходно делалась для хаба Корбины, на котором префиксами ников обозначались районы Москвы).
  new in 0.30: Вывод в лог попыток захода с диапазонов, которых вообще нет в базе.
• Блокировка привата (pmblock.lua)
  Система позволяет заблокировать приват для всех, кроме нескольких "любимых" пользователей (по умолчанию -- не более 5 человек, значение меняется в настройках)
• Запись в логи входов и выходов (prolog.lua)
  new in 0.27: Добавлена возможности записи логов чата в формате XML, который легко отобразить на сайте (например портале хаба) - дает возможность ещё до захода на хаб почитать, что пишут в чате.
• VipChat (vipchat.lua) :
  аналог OpChat-а, только для юзеров с профилем 0,1 и 2.
• WL-translator (translate.lua) : скрипт распознает слова, часто набираемые не в той раскладке ('ghbdtn dctv' вместо 'привет всем') и автоматически переводит их.
  Словарь расширяемый, хранится в текстовом файле (в папке DataBase)
• Контроль ников, похожих на ники администраторов (antiop.lua)
  Скрипт запрещает вход на хаб юзерам с никами, похожими (по вхождению) на ники администрации.
  new in 0.24: Похожесть ников теперь проверяется более строго, с учетом похожих русских и латинских букв.
  new in 0.30: Слишком короткие ники операторов (3 буквы и менее) теперь игнорируются (слишком много совпадений).
• Контроль массовых рассылок (amassmsg.lua)
  Несмотря на могучий deflood в самой PtokaX, пришлось сделать средство для продвинутой борьбы со спамерами. Если юзер быстро рассылает сообщения разным юзерам, его отправляют "помыться в бане". ВременнЫе константы задаются в настройках хаба. new in 0.23: Добавлена настройка -- минимальная длина сообщения, на которую срабатывает скрипт (по умолчанию 10 символов).
• new in 0.23 Запрет на долгое присутствие на хабе незарегистрированным юзерам (kickunreg.lua)
  (Скрипт делался по индивидуальному запросу, по умолчанию отключен). Если юзер незареган и просидел на хабе более 5 минут, его кидает с хаба.
• new in 0.24 Anti-command (acmd.lua)
  Скрипт, не пропускающий в чат необработанные хабом команды. Особенно полезен при ошибках в скриптах, иногда приводящих к тому что текст команды попадает в чат (при этом он может содержать текст, который другие видеть не должны).
• new in 0.26 HubManager (hubman.lua)
  Скрипт для управления скриптами хаба. Пока содержит команды +srun (запуск/перезапуск), +slist и +set(min|max)share, менюшка будет позже.
• Система Прогрессирующих Банов (bans.lua)
  Скрипт для управления прогрессирующим забаниванием нарушителей (время * кол_во нарушений) и удобной менюшкой для бана за некорректную шару.
  new in 0.31: Добавлена система автоматических банов за запрещенные файлы в шаре (порнуха, etc). Скрипт автоматически ищет файлы по TTH по своей базе. База редактируется командами хаба или через меню; можно добавлять сразу по несколько TTH, причем можно скармливать командам любой текст, в котором содержатся магнет-ссылки - мусор будет проигнорирован. По каждому TTH ведется статистика, сколько раз по нему производились баны. Время бана - прогрессирующее, в зависимости от количества наказаний.
  Те TTH, которые не использовались слишком долго (временные константы задаются настройками), автоматически удаляются из базы.
  0.32:
  * улучшена команда +tthlist, теперь при 8000 записей в базе и вызове с параметром --all от хаба не отрубает ;-)
  * добавлена опция +tthlist <n> - показать статистику по top-N записям
  * добавлена команда вывода обобщенной статистики +tthstat: выводит первые top-5 записей, и "хвост" базы с малым числом срабатываний, показывая количество и процентное содержание записей с 0,1,..,MIN_TRIG_COUNT срабатываниями.

уф... ну кажется всё. есть ещё некоторые мелкие скрипты, не столь достойные описания.

В папке scripts также имеется каталог dmvn-lib.
Самый важный файл там -- hubconf.lua -- это настройки перечисленных выше скриптов.
Остальные файлы в нем являются компонентами библиотеки и не являются скриптами для хаба в истинном смысле этого слова -- это просто набор функций, констант и прочих определений.

Все скрипты написаны более-менее с нуля, разве что регистрация -- по мотивам модифицированного HubbaBot-а. Единственное, что тут уцелело из хуббы -- так это функция StringLower для русского текста. Никакого готового (чужого) кода тут само собой нет, это не "сборник" скриптов, а независимая разработка.

Разумеется, каждую из перечисленных фичей в отдельности можно отключить, просто сняв галочку с соответствующего скрипта.
Вот только порядок скриптов не меняйте сильно, пока не поймете как оно там работает.
Можете использовать "как есть", можете дорабатывать скрипты для себя, но, пожалуйста, не уничтожайте оригинальных копирайтов и ссылок на домашнюю страницу проекта.

Насчёт SMTP-сервера: годится любой, например халявный OfficeMailServer или чё-нить юниксовое (скрипты, кстати, будут работать и на *nix).

Данная система скриптов успешно работает на моем хабе dchub://dc.dmvn.net:1441
Если есть вопросы -- заходите, спрашивайте... но лучше сначала читайте исходники

копирайты и копилефты:
© dmvn, 2007-2014;
Благодарности: NRJ, Rivia за идеи и базу некоторых скриптов, Yokel за советы, идеи и самое главное -- качественное тестирование бета-верий,
а также всем пользователям КорбиныТелеком за тестирование ранних реализаций этих и других скриптиков (в особенности антимата )

Входя на указанный хаб впервые, вижу сообщение о попадании в диапазон забаненных ip адресов.
Хм... Интересная система получается, которая банит якобы нежелательные ip адреса - на деле же это видимо никак не проверяется.

А можно полный текст сообщения?
Вообще-то у нас вход с инета разрешен, rangeban-ов сейчас нет вообще, только что проверил.
Там разве что warning есть для тех кто через инет входит, но он не посылает юзера нафиг)

UPD: сорри, не туда посмотрел, был там один диапазон... сейчас уже не актуален, снято.

По поводу сборки. Собрав достаточное количество скриптов с данного форума из раздела готовые скрипты, можно реализовать нечто подобное. Единственная заслуга - это сбор скриптов в одну кучу и тестирование их работоспособности.

Однако, кучу скриптов достаточно проблематично настроить под себя. Придётся лазать по всем файлам и вникать в настройки каждого файла + многократный вызов основных функций API ptokax несёт некоторую нагрузку. Эффективнее было бы объединить всё это дело в один скрипт, однако понятно, что делать это неохота)))

Да, может быть
у меня просто есть некая библиотека стандартных функций, которые очень часто и почти во всех скриптах юзаются. Естественно, ее использование сокращает код основных скриптов.
Соединять их -- ну... это нарушение модульности проекта, побуждает лезть в код, комментировать куски, и тд.
Я как раз напротив, максимально пытался их сепарировать, чтобы было удобнее включать/выключать если чё.
Да и разрабатывать оооооочень трудоемко, если это один гигантский файл. у меня бы это было около 7000 строчек... неюзабельно

Насчёт скорости работы и нагрузки -- пока лагов особых нет, всё-таки API2 крайне прогрессивен...

Ну я думаю, что хотя бы вынести настройки из всех этих скриптов в один файл можно? Модульность не нарушиться, подключать в скриптах этот файл можно функцией require, то есть модульно (при таком способе подключения данный файл загрузится только 1 первый раз, а дальше будет просто использоваться всеми скриптами).

Зашёл на указанный хаб. Первое, на что обратил внимание - это отсутствие отсылки тегов пользователей, что на мой взгляд не есть хорошо, так как большинство нынешних клиентов обладает такой штукой, как авто-бан. Например, мой клиент сразу же показал, что он не может определить количество слотов у пользователей хаба, поэтому все пользователи хаба были добавлены в авто-бан, и следовательно никто с меня ничего скачать не сможет.

Спасибо за коммент насчёт опции Strip Tag, пофиксил (и на хабе, и в следующем релизе дистрибутива).

Насчёт настроек: тут какая штука... есть опции (некоторые константы, etc), которые непродвинутому пользователю вообще лучше не трогать (они спрятаны в код скриптов).
А есть опции, которые можно свободно регулировать (некоторые текстовые сообщения, некоторые временнЫе параметры, опции кому что и как разрешено) -- они как раз хранятся в файле 'scripts/dmvn-lib/hubconf.lua', и сгруппированы по скриптам (в виде структур данных с соотв. названиями).
Собственно, этот файл именно так и подгружается, разве что не require-ом, а dofile-ом, но это уже не так существенно.

Что то мне не очень понравился. Обычная PtokaX 4.1.1, добавлены только скрипты, проектом назвать не могу, т.к. проектом может считаться только то, что ты создал полностью сам, а не дополнил. Если такие "Проекты" будет делать каждый, то их будет очень-очень много, хотя сами они ничего практически не сделали, а всеволишь немного дополнили

Зачем изобретать то, что уже изобретено? ©

Объясняю. пока я занимался администрированием хаба dc.corbina.net, меня заколебали вопросами на тему "а как сделать хаб", "как писать скрипты", "я поставил скрипты а они не пашут ни хрена", "а как прикрутить твой антимат к моему хабу", и так далее. Особенно достали вопросы про перевод скриптов на API2, но это я думаю больной вопрос на всех форумах по DC++.

В итоге я решил собрать нужный комплект воедино, чтобы вопросов после установки было как можно меньше -- в этом хабе ничего руками делать не надо, не надо искать и скачивать нужные версии LuaSocket, не надо думать куда их запихнуть, не надо думать над порядком скриптов, и так далее.
В общем, 100% работоспособный пример, который в крайнем случае можно просто разобрать по кирпичикам, потырить скрипты и тд -- это же не запрещается лицензией
Разница только в том, что в рамках данного комплекта работоспособность гарантируется, а после прикручивания "умельцами", любящими комментировать якобы ненужный код, к своим хабам -- нет ))

Вот тоже самое, что ты сделал: http://mydc.ru/topic726.html

неправда ваща. Таких проектов море - к примеру линуксы - федора и убунту. Вроде те же принципы, что и в отцах - рэдхат и дебиан, теже утилиты юзаются, а вот имеют свою немаленькую аудитоию.

Кароче - респект автору. Но сетапер прав - в один скрипт собрать - вот следующий щаг.
PS ну и естественно сделать все это дело независящим от платформы - я имею в виду - никс и вин платформы.

Цитата

- Стихи нас не интересуют, нас интересует предисловие.
- Выдерите предисловие, стихи оставьте.

© Юлий Ким, "Московские кухни"

Я что-то не понимаю, что бы изменилось, если бы были выложены только сами скрипты без хаба?
Тогда пришлось бы ещё писать подробную документацию, где какие каталоги создать и куда чего положить. Зачем? а так пользователь скачает, посмотрит, если понравится заберет скрипты на свой хаб, сохранив структуру. Это гораздо проще.

2 mariner:
Да, кроссплатформенный вариант в недалеком будущем.
Насчёт объединения -- скажем так, функцию ChatArrival имхо лучше не соединять, она вызывается слава богу не так уж часто, тут лагов не будет.
насчёт ToArrival и MyINFOArrival -- да, может быть эти обработчики стоит соединить, они дергаются часто на большом хабе.

остальные просто не повторяются в разных скриптах, поэтому необходимости в их объединении банально нет.

Как раз таки самыми часто вызываемыми функциями являются не ToArrival и не MyINFOArrival, а SearchArrival и SRArrival, поэтому объединять в первую очередь следует их))

Возможно буду очень критичен, но считаю что такие проекты плодят "недоадминов"!!! Ну если не можешь ты настроить хаб, то почитай где нибудь или спроси и тебе помогут. А если всё равно не знаешь то просто забудь про эту глупую идею....

Но за старание автору +1))))))))))))))))

Может глупая идея но как то она меня посещала... что если встроить самые нужные скрипты в сам хаб?

Это само собой. Но -- читайте внимательней -- я подчеркнул что они-то как раз у меня ровно в одном скрипте используются (asearch.lua и больше нигде).

2 Wariner: а каким собсно образом зашить их в хаб? взять исходники PtokaX, и... эт конечно метод... но неуниверсально будет.

что-то я его не увидел антимата,антиреклама есть.... При запуске сразу 4 скрипта просто "умерает" (stat.lua,user.lua,vipchat.lua,client.lua).
P.S ..... нашёл антимат,прикольный )))....только очень сильно надоедает ( [08:29:50] <InstaHub>
Ваш ник должен быть с префиксом [cor1] (например, [cor1]Ваш_Ник)
Сейчас Вы зашли на хаб с ником Слотвап, поменяйте его в настройках DC++ или в свойствах 'любимого' хаба (Ctrl+F).
[08:29:51] *** This socket has been closed... )

P.S.Как можно вытянуть антирекламу и антимат ( а то я не могу понять где они находятса)

Хотел вытянуть оттуда историю чата... скопировал себе скрипт chathist.lua и папку dmvn-lib с const.lua и service.lua, но скрипт отказывается запускаться. Пишет что не найдены файлы const.lua и service.lua. В скриптах ничего не менял. Чего ему не хватает?

Предлагаю пользователям не раздирать проект на части!!! Либо пользуйте как есть либо просто не ставьте!

2dmvn: думаю всё таки следующий шаг создание мультибота)))

Артём: префиксы никакого отношения к антимату не имеют.
ах да, я забыл про скрипт контроля адресов и префиксов написать в первом посте... черт сейчас добавлю.
если не нужно чтобы про префиксы спрашивало -- отключите ipcontrol.lua.

антиреклама -- это antiadv.lua, антимат -- amfilter.lua ( плюс библиотека и настройки, то есть вся папка dmvn-lib).

Serx: а если ничего не трогать и просто отключить ненужные скрипты? будет работать или нет?

а если антимат нравитсО .... хочетсО выдрать его ))))