Протокол IPv6 в протоколе NMDC, Спецификация и тестирование IPv6 в NMDC

Да, как бы неочень получается, продолжим ту тему здесь? Т.к. та тема не в том разделе и я предлагаю серьезно обсужадть не только спецификацию, но и тестировать..?
Моё предложение не слать 2 команды, т.к. хабы и так генерят много трафика, а хорошенько подумать и использовать сложившуюся ситуацию себе наруку. Потому как расплата за ошибки, допущенные сейчас, в будущем может быть очень большая.
Т.к. только хаб знает какие к нему присоединены клиенты, я предлагаю все команды, в которых передается ipv6 адрес, дублировать (так сказать, раз уж так получилось, подкорректируем протокол).
В общем здесь я опишу как я вижу решение проблемы, а дальше жду ваших комментариев.

Цель:

1. Поддержка в протоколе NMDC IPv4 и IPv6 адресов одновременно.
2. Уменьшение трафика за счет правильной структуры новых команд, передачи адресов и портов отдельно и один раз, уменьшения длины ключей команд.
3. Упрощение обработки, за счет правильной структуры новых команд.
4. Требование минимального вмешательства в NMDC. Заменяются только те команды, без модификации которых не возможно функционирование ipv6. Остальные команды не затрагиваются.
5. Сохраняются разделитель NMDC: команд "|". Блоков "$".

Основные положения:

1. Расширение разработано в первую очередь для того, чтобы использовать сложившуюся ситуацию себе на руку и не только внедрить IPv6 в NMDC, но и уменьшить проблемы трафика и сложности обработки стандартных команд NMDC. Поэтому были разработаны новые команды, гораздо короче и проще старых.
2. Для новых клиентов старые команды заменяются на новые:
   $UserIP -> $UIP (передает ip адреса и порты всех пользователей всем пользователям)
   $RevConnectToMe -> $RCM. вообще если в $UIP отсылаются адреса и порты всех пользователей всем пользователям - активы и пассивы могут устанавливать соединения с активами сразу напрямую, и $RCM можно не использовать. Но если администратор не передает tcp порты в команде $UIP, т.е. хочет управлять пользователями и одним разрешать качать, другим запрещать, то используется эта команда. Например в ADC её оставили, решили что администратор хаба должен решать кому можно качать. Но если её убрать - то при установлении соединения клиент не информирует хаб и тем самым нагрузка на хаб снижается.
   $ConnectToMe -> $CTM (актив паросит пассива присоединиться к нему, т.е. инициализировать соединение)
   $Search -> $SCH.
3. Поддержка данного расширения протокола NMDC отпределяется по GIFTEXT в команде Suports.
4. В случае присоединения клиента с поддержкой данного расширения к хабу без поддержки данного расширения, клиент работает с ним старыми командами, без использования IPv6.
5. В случае присоединения к хабу с поддержкой данного расширения, новые клиенты отправляют на хаб сразу две команды - старого и нового типа. Старые клиенты - только старого соответственно.
6. Хаб принимает команды старого и нового типа и рассылает команды старого типа клиентам без поддержки GIFTEXT, и новые клиентам с поддержкой GIFTEXT.
7. В командах старого типа используется только IPv4. Таким образом старые клиенты не почуствуют какие либо неудобства.
8. Для избежания доса, хаб перед отправкой (или при получении) заменяет в $UIP UDP порт неподтвержденного IP адреса на символ нижний прочерк: "_". Таким образом клиенты знают какой ip является подтвержденным и обязаны слать ответ только на него. (Есть еще вариант, для подтверждения второго IP адреса, с установкой по второму IP отдельного соединения с хабом. Вроде как этот вариант уже реализовали в птохе.)
9. TCP порты обоих IP адресов передаются без изменения, таким образом клиенты сами могут выбирать протокол IPv4 или IPv6, по которому они будут организовывать файлообмен.(Т.е. ограничивается протоколом ipv6/ipv4 только поиск, скачивание - нет. И то если второй ip адрес не подтверждается установкой второго соединения с хабом)

$RevConnectToMe - команда, которую пассивный пользователь отправляет чтобы попросить другого пользователя попросить его инициировать с ним соединение, заменяются одной $RCM. Не используется клиентами на хабах, где администратор пропускает TCP порты в команде UIP. и (описние $RevConnectToMe)
Обычная:
nmdc expansion by gif-t:

Уточнения:

1. Как видете, команда предельно проста и коротка.
2. СПОРНО Команды $RCM и $RevConnectToMe отправляются клиентом хабу вместе. Далее хаб сам выбирает каким клиентам какую рассылать. Модифицировать команду на стороне хаба не нужно. В плане трафика - это входящий для хаба трафик, который не представляет проблем. Или можно передавать только новую, а старую хаб будет генерировать сам...
3. IP адреса передаются хабом при присоединении пользователя командой $UIP. Клиент сам решает по какому протоколу устаналвиать соединение. Или перебирает сначала ipv4, потом ipv6.
4. Пометка - надо обязательно учесть недавние дополнения.

$ConnectToMe - команда, которую активный пользователь отправляет чтобы попросить другого пользователя инициировать с ним соединение, заменяются одной $CTM (описние $ConnectToMe)
Обычная:
nmdc expansion by gif-t:

Уточнения:

1. Как видете, команда предельно проста и коротка. Гораздо короче $ConnectToMe.
2. СПОРНО Команды $CTM и $ConnectToMe отправляются клиентом хабу вместе. Далее хаб сам выбирает каким клиентам какую рассылать. Модифицировать команду на стороне хаба не нужно. В плане трафика - это входящий для хаба трафик, который не представляет проблем.
3. IP адреса передаются хабом при присоединении пользователя командой $UIP. Клиент сам решает по какому протоколу устаналвиать соединение. Или перебирает сначала ipv4, потом ipv6.
4. В $CTM клиент заполняет только те порты, ip адреса соответствующие которым у него есть.
5. Пометка - надо обязательно учесть недавние дополнения.

Активный клиент (способный принимать входящие соединения) посылает данную команду на хаб для того, чтобы попросить пользователя [Ник_получателя] инициализировать соединение с ним (IP адрес и иногда порт тому клиенту уже извествен благодаря $UIP).

$Search и $MultiSearch (описние $Search) (описние $MultiSearch)

Обычная:
Нет деления структуры на активный и пассивный поиски
nmdc expansion by gif-t:
Уточнения:

1. Если строка поиска - текстовый, а не TTH запрос, и содержет несколько слов, разделенных пробелами, на месте пробела ставится знак пробела, а не "$", как это было непонятно зачем сделано в старой команде $Search.
2. IP адреса и UDP порты передаются хабом при присоединении пользователя командой $UIP, описанной ниже.
3. На линкованых хабах команда работает как $MultiSearch???
4. СПОРНО Команды $SCH и $Search отправляются клиентом хабу вместе. Далее хаб сам выбиарет каким клиентам какую рассылать. Модифицировать команду на стороне хаба не нужно. В плане трафика - это входящий для хаба трафик, который не представляет проблем.

$SR - ответ на поисковый запрос (описние $SR)
Нужно проверить, но я думаю эта фукция будет работать с ipv6 без модификации.

$MultiSearch (описние $MultiSearch)
Не знаю, она в ходу? Я просто не вижу в ней смысла. Хаб должен сам решать как и куда он пересылает поисковые запросы. Моё мнение - модификация команды не нужна. Сразу объявим $SCH как $MultiSearch на линкованых хабах.

$UserIP (описние $UserIP)
Обычная:
nmdc expansion by gif-t:

Уточнения:

1. Список $UIP всех пользователей отправляется хабом пользователю сразу после его присоединения и отправки ему списка $MyINFO.
2. $UIP отправляется обязательно после $MyINFO.
3. Администратор хаба сам решает, будут ли в данной команде передаваться TCP порты. Если будут - то команда $RCM не должна использоваться клиентами. Они должны сразу устанавливать соединение с нужными им пользователями. В случае если TCP порты в $UIP администратор не передает, клиенты должны использовать команду $RCM для получения TCP портов.
4. Команда отправляется один раз при входе и каждый раз при изменении портов пользователя. Таким образом обеспечивается экономия трафика. В таких командах как $SCH и $CTM ip адрес не передается. В $Search, к примеру, ip адрес передается при каждом поисковом запросе. Команда $Search на большинстве хабов является основным источником трафика.
5. Отсутствующий порт/адрес заполняется символом прочерк "-", чтобы не повторялся разделитель "$$", разделяющий блоки ников.
6. Т.к. передается два IP адреса, а проверяется только один - возможна организация UDP доса любого IP адреса ответами на поисковый запрос (соответственно только при поиске). Для избежания этого, ответы отсылаются клиентами только на IPv4 или IPv6 по которому клиент присоединен к хабу. После получения от клиенты данной команды, хаб у непроверенного ip адреса (противоположного относительно того, по которому он присоединен к хабу) UDP порт заменяет на знак "_" нижний прочерк и отсылает её всем пользователям. Таким образом хабу не нужно беспокоиться о проблеме доса, клиенты, отвечающие на поисковый запрос, знают какой IP адрес подвержден и будут слать ответ только на него.
   
   Также есть второй вариант - http://mydc.ru/topic5172.html?view=findpost&p=42452 - клиент должен устанавливать второе соединение с хабом и подтверждать второй ip адрес. Тогда в $UIP можно передавать оба UDP порта, поиск будет абсолютно полным и пользователи сразу с двумя ip адресами (ipv4 и ipv6) будут получать ответы на поисковый запрос по обоим (соответственно с ipv4 и ipv6 пользователей), т.е. от абсолютно всех пользователей хаба. Недостаток - это значительно усложняет алгоритм.
   
   В случае скачивания клиентам известны оба ip адреса и они могут организовать прямой файлообмен по IPv6 или IPv4 как им угодно.
7. IPv6 адрес без квадратных скобок спереди и сзади!
8. Если какого-то IP адреса нет, вместо него передается символ прочерк "-" для безопасности, чтобы не повторялся разделитель $$
9. Если передается TCP порты пользователя, клиент при необходимости может сразу связываться с ним напрямую, не беспокоя хаб командой $RCM (экономия трафика).
10. Два символа $$ - открывающий разделитель для нового блока. Т.е. после блока он не ставится. Это значит что команда не может закончиться на "$$|"

$ForceMove (описние $ForceMove)
Эту команду тоже стоит модифицировать, чтобы клиенту передавалось сразу два IP адреса, IPv6 и IPv4. Далее он сможет выбрать по какому он может устанавливать соединение.

Обычная:
nmdc expansion by gif-t:
Уточнения:

1. Хаб сам выбирает кому отправлять $FOM, а кому $ForceMove. Клиенты без поддержки $FOM, а значит и возможно IPv6, или без IPv6 адреса, в случае если хаб перенаправляет только на IPv6, будут потеряны, т.к. они не смогут установить соединение. Поэтому в $ForceMove рекомендуется передавать только ipv4 адрес.

$BotINFO / $HubINFO (описние $BotINFO и $HubINFO)
Тут впринципе модификация не требуется, т.к. адрес заполняется вручную администраторорм хаба/ администратором бота.
Пуска IPv6 адрес пишется в квадратных скобках. Это конечно усложняет функцию обработки... но несильно, сейчас сам набросал её (вышло +14 строк)
Если IPv6 адрес идет после всех других адресов, то сохраняется совместимость со старыми клиентами хаблистами (но теряется порт). Но лучше вместо ip адреса использовать IPv6 dns. В общем хаблисты разберутся - эти команды только для них, не для клиентов или хабов.

$Supports
Добавляем в команду GIFTEXT для идентификации хабов и клиентов, поддерживающих expansion by gif-t

--------------------------------------------------------------------------------------------------------------------------------------------
Как видите,
1) Длина команд сильно укоротилась за счет использования трехбайтовых ключей и за счет вынос адресов в команду $UIP
2) Команды очень легко разобрать, т.к. разделитель элементов всегда один - знак $ (в старых командах разделителей много - пробел, двоеточие, знак "$", знак "?").
В адресе IPv6 используется двоеточие для разделения блоков и скобки для отделения порта, т.к. он отделяется тоже двоеточием, - в моём предложении вообще не надо использовать квадратные скобки для разделения ipv6 адреса от порта! В обшем для обработки таких команд выйдет функция минимального размера, максимальной простоты и быстродействия.
3) Предложенная схема абсолютно совместима со старыми (текущими) клиентами. Т.к. старым клиентам отсылаются команды старого типа. В схеме, предложенной Setuper'ом, данные впихиваются в структуру старых команд. Таким образом получаем в его схеме

• Старые клиенты пытаются обработать такие команды и у них ничего не выходит или выходит непонятно что (вот будет круто если некоторые будут падать от этого )) )
• Новые клиенты обрабатывают их сложными функциями, с большей нагрузкой, но корректно
• Старые длинные команды отправляются дважды, сначала с ipv4, потом с ipv6. Это увеличивает трафик почти в 2 раза...
• Т.к. они отсылаются подряд, сначала с ipv4, потом с ipv6, новому клиенту нужно помнить содержмиое нескольких команд, чтобы не реагировать дважды... неочень удобно. Если запоминать слишком много - то некоторые уникальные новые запросыф могут быть отсеяны, если мало - на некоторые клиент будет отвечать два раза. На больших хабах поисковых запросов валится очень очень много, от разных пользователей - там буфер надо большой. На маленьких - наоборот ищут одни и теже пользователи, буфер надо маленький.
  Если клиент предпочитает ipv6, то при получении ipv4 ему нужно одождать некоторое время, вдруг придет ipv6... Конечно это исключительная ситуация, но всеже вцелом проблема связывания этих двух команд существует.

В моей схеме

• Старые клиенты должны получать команды старого типа и соответственно они будут их корректно обрабатывать. При получении команды нового типа (а такого происходить вообще-то не должно) они их просто проигнорируют. По этому пункту моя схема лучше.
• Новые клиенты обрабатывают их легко и быстро, т.к. новые команды гораздо проще по структуре. По этому пункту моя схема тоже лучше.
• Новые команды короче и клиенту в зависимости от поддержки отсылается либо старая длинная команда, либо новая короткая. Это приводит к сильному сокращению исходящего трафика хаба, особенно в будущем, когда большинство клиентом будет работать на командах нового типа. По этому пункту моя схема тоже лучше.
• Команда отсылается одна и сразу в себе содержет все необходимые параметры. По этому пункту моя схема тоже лучше.

Клиент при коннекте через саппортс сообщает хабу о поддержке модифицированных команд GIFTEXT. Отсылает ему эти команды и команды старого типа (не уверен что это правильно, т.к. на стороне хаба по новой команде на мой взгляд очень просто сформировать команду старого типа, но впринципе если уж тк проще, то пускай так и будет). Хаб без всякой нагрузки отсылает без изменения всем клиентам команды того типа, который они поддерживают (старым - старого, новым - нового). Вот и весь принцип...

Не понимаю, в чем смысл вводить столько глупых ограничений?
Надо фиксить это в клиентах, удалять нафиг такие алгоритмические лажи. Протокол должен быть максимально гибок.
+ это же значительная и вообще бессмысленная нагрузка на хабы...
Еще я выяснил что в протокол NMDC не заложено ограничение на количество пользователей, а в ADC заложено - 1 048 576.
Это ошибка из области ipv4 или 32 битных систем. И в первом и во втором случае лимиты были достигнуты намного раньше чем предполагалось.

приватные хабы и всё такое.
заходишь - прошёл регистрацию - можешь качать. иначе насканил портов через nmap, нашёл dc++, дёрнул файл-лист и давай приватные файлы выкачивать

публичные хабы - вершина айсберга dc++


да ну фигня. SID везде в клиентах и хабах хранится как Int32. просто генераторы, применяемые в текущих хабах, берут символы из набора base32.
если брать все ASCII-знаки (вроме пробела), sid останется красиво читаемым и ёмкость хаба будет (128-32-1)^4 = 81 450 625 юзеров.
даже сейчас можно в SID класть любые байты, экранируя \n и \s согласно правилам кодирования в протоколе.
так что легко модифицировать генератор SID-ов в хабе - расширить ёмкость до 4 миллиардов, и это без потери совместимости с самыми ранними adc-клиентами.
но дальше уже лимит протокола

В протоколе написано:
Если использовать ASCII, то это уже не ADC протокол. Перекраивать это никто не собирается.
Да и вообще о чём речь? какой миллион? современное железо даже 100000 не потянет

Setuper, а это не важно. Когда IPv4 был создан, тоже ходили слухи что не возможно построить сеть из нескольких миллиардов компов, потому что столько не сделать, а если и сделают, такая сеть не сможет функционировать. И с оператовкой тоже самое. Это было время когда 10 мегабайт было очень много, никто и не думал что величина в 4 гигабайта достижима. И процессоры были 100 мегагерц...
И вы сейчас так рукой махаете, типо а о чём речь? какой миллион? современное железо даже 100000 не потянет.... а вот посмотрим что будет через 20 лет.
Сейчас интел почти подобралась к физическому пределу уменьшения тех процесс. Там, на уровне атомов, уже другие процессы... и кто знает чего за это время там откроют, может процы начнут выпускать по несколько сотен гигагерц, кто знает....
В общем ограничений быть не должно, или оно должно быть запредельным, хотябы 64 бита.

формально - да. а по факту, никто не проверяет, из каких символов собран SID.
если сделать версию ADC 1.001, где в SID разрешены любые знаки, клиенты будут автоматически его поддерживать


ограничение на 4 символа удобно для обработки на 32-битных машинах.
никто не мешает сделать ADC 2.0, где SID может быть из 8 символов (чтобы помещаться в 64 битную переменную).
протокол текстовый, ничего не сломается. клиентов переделать - задача на 15 минут.

Всеравно это будет неприятно.
Вообще не понимаю, почему некоторые данные фиксированной длины не передавать в бинарном виде, ведь там толпа народа собралась, неужели никто не догадался... Пользователи то не видят что там передается, нафига расходовать трафик за зря, ради наглядности.
Вон в контре все пакеты бинарные, получил строку, сразу знаешь где 4 байта - это 32 битный int, прямо копируешь в массив без всяких преобразований.
Сколько бы только на SID, CID, IPv4, U4, IPv6, U6 сэкономили бы трафика...
CID занимает 39 байт, а так бы занимал 25 байт.
IPv6 максимум 39 байт, а так 16 байт.
IPv4 максимум 15 байт, а так 4 байт.
Порт 5 байт, а так 2 байта.
Рано еще на ADC переходить, совершенно сырой и не продуманный протокол, масса потенциала для оптимизации и дополнений.

Чем больше я углубляюсь в ADC, тем больше он поражает меня своим несовершенством и непродуманностью.
И убивает то, что при разработке они даже не спросили пользователей, а с какими проблемами сталкивались они в NMDC, не спросили администраторов крупных хабов, вообще не спросили основных потребителей - русских. С такими ужасными показателями ADC еще долго будет в тени.
У нас есть мозги, нам надо было разработать свой, нормальный, без таких банальных косяков, протокол и поддерживать его. А не тянуть продукт, сделанный забугорными людьми без мозгов.
И они делают DC для небольших локалок, а у нас люди строят на ней серьезные глобальные проекты, гигантские хабы. Их масштабы мыслей не соизмеримы с нашими, однако мы почему-то упрямо не хотим брать всё в свои руки. У нас очень много хороших разработчиков, наш клиент flylink обгоняет по популярность всех! Обидно что инициативы не то что нет, а она даже не приветствуется.

тексты/бинари, байты/спрайты, нравится/нет это все шелуха.
настоящая проблема - в организации DC сети: каждый пук любого клиента транслируется на тысячи соединений и никакая экономия пяти байт в заголовке это не исправит.

нужно закрыть общий чат, сделать тематические комнаты, куда будут заходить люди по интересам (будет не более 200 чел на комнату и обсуждение в одной комнате не будет транслироваться на весь хаб - какая экономия).
а то и вообще чат отключить - нефиг, для этого есть IRC (можно даже использовать инфраструктуру IRC, чтобы было привычно. зашёл в хабик - увидел список IRC-комнат, подключился, чат идёт не по хаб-каналу, а через IRC)

нужно доделать DHT-поиск, чтобы он искал не только по TTH, а полноценно по имени файла. тогда весь поисковый трафик плавно размажется по всей сети и не будет узким местом.

хабы - это точки входа в DHT-сеть и не более того.

Что-то я пытался разобраться с DHT, но нигде нормальной документации с примерами последовательностей подключения и обмена командами не нашел... Пытался даже как-то отснифферить, но ничего не вышло, в бинарных командах непросто разобраться.

они не бинарные. это обычные текстовые ADC-команды, пожатые zlib и закрытые RC4 (устаревший шифр. защищает скорее не от взлома, а от технической блокировки на оборудовании провайдера. слегка пришифрованный пакет нельзя классифицировать как DC++ и заблокировать, ведь это также может быть SIP или Skype, чего закрывать нельзя)

в открытом виде DHT-обмен можно посмотреть в окне отладчика в greylink