Протокол IPv6 в протоколе NMDC, Спецификация и тестирование IPv6 в NMDC

Да, как бы неочень получается, продолжим ту тему здесь? Т.к. та тема не в том разделе и я предлагаю серьезно обсужадть не только спецификацию, но и тестировать..?
Моё предложение не слать 2 команды, т.к. хабы и так генерят много трафика, а хорошенько подумать и использовать сложившуюся ситуацию себе наруку. Потому как расплата за ошибки, допущенные сейчас, в будущем может быть очень большая.
Т.к. только хаб знает какие к нему присоединены клиенты, я предлагаю все команды, в которых передается ipv6 адрес, дублировать (так сказать, раз уж так получилось, подкорректируем протокол).
В общем здесь я опишу как я вижу решение проблемы, а дальше жду ваших комментариев.

Цель:

1. Поддержка в протоколе NMDC IPv4 и IPv6 адресов одновременно.
2. Уменьшение трафика за счет правильной структуры новых команд, передачи адресов и портов отдельно и один раз, уменьшения длины ключей команд.
3. Упрощение обработки, за счет правильной структуры новых команд.
4. Требование минимального вмешательства в NMDC. Заменяются только те команды, без модификации которых не возможно функционирование ipv6. Остальные команды не затрагиваются.
5. Сохраняются разделитель NMDC: команд "|". Блоков "$".

Основные положения:

1. Расширение разработано в первую очередь для того, чтобы использовать сложившуюся ситуацию себе на руку и не только внедрить IPv6 в NMDC, но и уменьшить проблемы трафика и сложности обработки стандартных команд NMDC. Поэтому были разработаны новые команды, гораздо короче и проще старых.
2. Для новых клиентов старые команды заменяются на новые:
   $UserIP -> $UIP (передает ip адреса и порты всех пользователей всем пользователям)
   $RevConnectToMe -> $RCM. вообще если в $UIP отсылаются адреса и порты всех пользователей всем пользователям - активы и пассивы могут устанавливать соединения с активами сразу напрямую, и $RCM можно не использовать. Но если администратор не передает tcp порты в команде $UIP, т.е. хочет управлять пользователями и одним разрешать качать, другим запрещать, то используется эта команда. Например в ADC её оставили, решили что администратор хаба должен решать кому можно качать. Но если её убрать - то при установлении соединения клиент не информирует хаб и тем самым нагрузка на хаб снижается.
   $ConnectToMe -> $CTM (актив паросит пассива присоединиться к нему, т.е. инициализировать соединение)
   $Search -> $SCH.
3. Поддержка данного расширения протокола NMDC отпределяется по GIFTEXT в команде Suports.
4. В случае присоединения клиента с поддержкой данного расширения к хабу без поддержки данного расширения, клиент работает с ним старыми командами, без использования IPv6.
5. В случае присоединения к хабу с поддержкой данного расширения, новые клиенты отправляют на хаб сразу две команды - старого и нового типа. Старые клиенты - только старого соответственно.
6. Хаб принимает команды старого и нового типа и рассылает команды старого типа клиентам без поддержки GIFTEXT, и новые клиентам с поддержкой GIFTEXT.
7. В командах старого типа используется только IPv4. Таким образом старые клиенты не почуствуют какие либо неудобства.
8. Для избежания доса, хаб перед отправкой (или при получении) заменяет в $UIP UDP порт неподтвержденного IP адреса на символ нижний прочерк: "_". Таким образом клиенты знают какой ip является подтвержденным и обязаны слать ответ только на него. (Есть еще вариант, для подтверждения второго IP адреса, с установкой по второму IP отдельного соединения с хабом. Вроде как этот вариант уже реализовали в птохе.)
9. TCP порты обоих IP адресов передаются без изменения, таким образом клиенты сами могут выбирать протокол IPv4 или IPv6, по которому они будут организовывать файлообмен.(Т.е. ограничивается протоколом ipv6/ipv4 только поиск, скачивание - нет. И то если второй ip адрес не подтверждается установкой второго соединения с хабом)

$RevConnectToMe - команда, которую пассивный пользователь отправляет чтобы попросить другого пользователя попросить его инициировать с ним соединение, заменяются одной $RCM. Не используется клиентами на хабах, где администратор пропускает TCP порты в команде UIP. и (описние $RevConnectToMe)
Обычная:
nmdc expansion by gif-t:

Уточнения:

1. Как видете, команда предельно проста и коротка.
2. СПОРНО Команды $RCM и $RevConnectToMe отправляются клиентом хабу вместе. Далее хаб сам выбирает каким клиентам какую рассылать. Модифицировать команду на стороне хаба не нужно. В плане трафика - это входящий для хаба трафик, который не представляет проблем. Или можно передавать только новую, а старую хаб будет генерировать сам...
3. IP адреса передаются хабом при присоединении пользователя командой $UIP. Клиент сам решает по какому протоколу устаналвиать соединение. Или перебирает сначала ipv4, потом ipv6.
4. Пометка - надо обязательно учесть недавние дополнения.

$ConnectToMe - команда, которую активный пользователь отправляет чтобы попросить другого пользователя инициировать с ним соединение, заменяются одной $CTM (описние $ConnectToMe)
Обычная:
nmdc expansion by gif-t:

Уточнения:

1. Как видете, команда предельно проста и коротка. Гораздо короче $ConnectToMe.
2. СПОРНО Команды $CTM и $ConnectToMe отправляются клиентом хабу вместе. Далее хаб сам выбирает каким клиентам какую рассылать. Модифицировать команду на стороне хаба не нужно. В плане трафика - это входящий для хаба трафик, который не представляет проблем.
3. IP адреса передаются хабом при присоединении пользователя командой $UIP. Клиент сам решает по какому протоколу устаналвиать соединение. Или перебирает сначала ipv4, потом ipv6.
4. В $CTM клиент заполняет только те порты, ip адреса соответствующие которым у него есть.
5. Пометка - надо обязательно учесть недавние дополнения.

Активный клиент (способный принимать входящие соединения) посылает данную команду на хаб для того, чтобы попросить пользователя [Ник_получателя] инициализировать соединение с ним (IP адрес и иногда порт тому клиенту уже извествен благодаря $UIP).

$Search и $MultiSearch (описние $Search) (описние $MultiSearch)

Обычная:
Нет деления структуры на активный и пассивный поиски
nmdc expansion by gif-t:
Уточнения:

1. Если строка поиска - текстовый, а не TTH запрос, и содержет несколько слов, разделенных пробелами, на месте пробела ставится знак пробела, а не "$", как это было непонятно зачем сделано в старой команде $Search.
2. IP адреса и UDP порты передаются хабом при присоединении пользователя командой $UIP, описанной ниже.
3. На линкованых хабах команда работает как $MultiSearch???
4. СПОРНО Команды $SCH и $Search отправляются клиентом хабу вместе. Далее хаб сам выбиарет каким клиентам какую рассылать. Модифицировать команду на стороне хаба не нужно. В плане трафика - это входящий для хаба трафик, который не представляет проблем.

$SR - ответ на поисковый запрос (описние $SR)
Нужно проверить, но я думаю эта фукция будет работать с ipv6 без модификации.

$MultiSearch (описние $MultiSearch)
Не знаю, она в ходу? Я просто не вижу в ней смысла. Хаб должен сам решать как и куда он пересылает поисковые запросы. Моё мнение - модификация команды не нужна. Сразу объявим $SCH как $MultiSearch на линкованых хабах.

$UserIP (описние $UserIP)
Обычная:
nmdc expansion by gif-t:

Уточнения:

1. Список $UIP всех пользователей отправляется хабом пользователю сразу после его присоединения и отправки ему списка $MyINFO.
2. $UIP отправляется обязательно после $MyINFO.
3. Администратор хаба сам решает, будут ли в данной команде передаваться TCP порты. Если будут - то команда $RCM не должна использоваться клиентами. Они должны сразу устанавливать соединение с нужными им пользователями. В случае если TCP порты в $UIP администратор не передает, клиенты должны использовать команду $RCM для получения TCP портов.
4. Команда отправляется один раз при входе и каждый раз при изменении портов пользователя. Таким образом обеспечивается экономия трафика. В таких командах как $SCH и $CTM ip адрес не передается. В $Search, к примеру, ip адрес передается при каждом поисковом запросе. Команда $Search на большинстве хабов является основным источником трафика.
5. Отсутствующий порт/адрес заполняется символом прочерк "-", чтобы не повторялся разделитель "$$", разделяющий блоки ников.
6. Т.к. передается два IP адреса, а проверяется только один - возможна организация UDP доса любого IP адреса ответами на поисковый запрос (соответственно только при поиске). Для избежания этого, ответы отсылаются клиентами только на IPv4 или IPv6 по которому клиент присоединен к хабу. После получения от клиенты данной команды, хаб у непроверенного ip адреса (противоположного относительно того, по которому он присоединен к хабу) UDP порт заменяет на знак "_" нижний прочерк и отсылает её всем пользователям. Таким образом хабу не нужно беспокоиться о проблеме доса, клиенты, отвечающие на поисковый запрос, знают какой IP адрес подвержден и будут слать ответ только на него.
   
   Также есть второй вариант - http://mydc.ru/topic5172.html?view=findpost&p=42452 - клиент должен устанавливать второе соединение с хабом и подтверждать второй ip адрес. Тогда в $UIP можно передавать оба UDP порта, поиск будет абсолютно полным и пользователи сразу с двумя ip адресами (ipv4 и ipv6) будут получать ответы на поисковый запрос по обоим (соответственно с ipv4 и ipv6 пользователей), т.е. от абсолютно всех пользователей хаба. Недостаток - это значительно усложняет алгоритм.
   
   В случае скачивания клиентам известны оба ip адреса и они могут организовать прямой файлообмен по IPv6 или IPv4 как им угодно.
7. IPv6 адрес без квадратных скобок спереди и сзади!
8. Если какого-то IP адреса нет, вместо него передается символ прочерк "-" для безопасности, чтобы не повторялся разделитель $$
9. Если передается TCP порты пользователя, клиент при необходимости может сразу связываться с ним напрямую, не беспокоя хаб командой $RCM (экономия трафика).
10. Два символа $$ - открывающий разделитель для нового блока. Т.е. после блока он не ставится. Это значит что команда не может закончиться на "$$|"

$ForceMove (описние $ForceMove)
Эту команду тоже стоит модифицировать, чтобы клиенту передавалось сразу два IP адреса, IPv6 и IPv4. Далее он сможет выбрать по какому он может устанавливать соединение.

Обычная:
nmdc expansion by gif-t:
Уточнения:

1. Хаб сам выбирает кому отправлять $FOM, а кому $ForceMove. Клиенты без поддержки $FOM, а значит и возможно IPv6, или без IPv6 адреса, в случае если хаб перенаправляет только на IPv6, будут потеряны, т.к. они не смогут установить соединение. Поэтому в $ForceMove рекомендуется передавать только ipv4 адрес.

$BotINFO / $HubINFO (описние $BotINFO и $HubINFO)
Тут впринципе модификация не требуется, т.к. адрес заполняется вручную администраторорм хаба/ администратором бота.
Пуска IPv6 адрес пишется в квадратных скобках. Это конечно усложняет функцию обработки... но несильно, сейчас сам набросал её (вышло +14 строк)
Если IPv6 адрес идет после всех других адресов, то сохраняется совместимость со старыми клиентами хаблистами (но теряется порт). Но лучше вместо ip адреса использовать IPv6 dns. В общем хаблисты разберутся - эти команды только для них, не для клиентов или хабов.

$Supports
Добавляем в команду GIFTEXT для идентификации хабов и клиентов, поддерживающих expansion by gif-t

--------------------------------------------------------------------------------------------------------------------------------------------
Как видите,
1) Длина команд сильно укоротилась за счет использования трехбайтовых ключей и за счет вынос адресов в команду $UIP
2) Команды очень легко разобрать, т.к. разделитель элементов всегда один - знак $ (в старых командах разделителей много - пробел, двоеточие, знак "$", знак "?").
В адресе IPv6 используется двоеточие для разделения блоков и скобки для отделения порта, т.к. он отделяется тоже двоеточием, - в моём предложении вообще не надо использовать квадратные скобки для разделения ipv6 адреса от порта! В обшем для обработки таких команд выйдет функция минимального размера, максимальной простоты и быстродействия.
3) Предложенная схема абсолютно совместима со старыми (текущими) клиентами. Т.к. старым клиентам отсылаются команды старого типа. В схеме, предложенной Setuper'ом, данные впихиваются в структуру старых команд. Таким образом получаем в его схеме

• Старые клиенты пытаются обработать такие команды и у них ничего не выходит или выходит непонятно что (вот будет круто если некоторые будут падать от этого )) )
• Новые клиенты обрабатывают их сложными функциями, с большей нагрузкой, но корректно
• Старые длинные команды отправляются дважды, сначала с ipv4, потом с ipv6. Это увеличивает трафик почти в 2 раза...
• Т.к. они отсылаются подряд, сначала с ipv4, потом с ipv6, новому клиенту нужно помнить содержмиое нескольких команд, чтобы не реагировать дважды... неочень удобно. Если запоминать слишком много - то некоторые уникальные новые запросыф могут быть отсеяны, если мало - на некоторые клиент будет отвечать два раза. На больших хабах поисковых запросов валится очень очень много, от разных пользователей - там буфер надо большой. На маленьких - наоборот ищут одни и теже пользователи, буфер надо маленький.
  Если клиент предпочитает ipv6, то при получении ipv4 ему нужно одождать некоторое время, вдруг придет ipv6... Конечно это исключительная ситуация, но всеже вцелом проблема связывания этих двух команд существует.

В моей схеме

• Старые клиенты должны получать команды старого типа и соответственно они будут их корректно обрабатывать. При получении команды нового типа (а такого происходить вообще-то не должно) они их просто проигнорируют. По этому пункту моя схема лучше.
• Новые клиенты обрабатывают их легко и быстро, т.к. новые команды гораздо проще по структуре. По этому пункту моя схема тоже лучше.
• Новые команды короче и клиенту в зависимости от поддержки отсылается либо старая длинная команда, либо новая короткая. Это приводит к сильному сокращению исходящего трафика хаба, особенно в будущем, когда большинство клиентом будет работать на командах нового типа. По этому пункту моя схема тоже лучше.
• Команда отсылается одна и сразу в себе содержет все необходимые параметры. По этому пункту моя схема тоже лучше.

Клиент при коннекте через саппортс сообщает хабу о поддержке модифицированных команд GIFTEXT. Отсылает ему эти команды и команды старого типа (не уверен что это правильно, т.к. на стороне хаба по новой команде на мой взгляд очень просто сформировать команду старого типа, но впринципе если уж тк проще, то пускай так и будет). Хаб без всякой нагрузки отсылает без изменения всем клиентам команды того типа, который они поддерживают (старым - старого, новым - нового). Вот и весь принцип...

Нет, замена не происходит. Клиент отсылает хабу новую и старую. Хотя я против этого...
В общем хабу не нужно формировать старую, он просто отсылает старую старым клиентам, новую новым. Вот и всё.

а, тогда всё вообще элементарно!
пусть клиент посылает команды $ConnectToMe и $Search в старом виде но два раза - с v4 и v6 адресами.
а там уже что-то как-то законектится и поищется )))

Дак в DC то сейчас для установки соединения используется один порт, который выставляется в том же флайлинке в настройках соединеия. И только он и нужен чтобы начать скачивание, т.к. у многих только он и открыт в роутере. И при скачивании в $ConnectToMe и $RevConnectToMe используется именно он, этот единственный порт.
Чем вам эта схема не угодила? Вы считаете нужно наоткрывать кучу портов и в каждом коннекте указывать новый?
Почитайте еще раз пожалуйста http://mydc.ru/topic5172.html#entry42424, в данных командах принципы никакие не меняются, просто изменена структура команд для передачи ipv6 адреса дополнительно. И передача адресов и портов вынесена в отдельную команду, чтобы они не создавали лишний трафик в других, часто повторяющихся командах.

Согласен, возможно написал бред, но отсылая порт 1 раз, ты снижаешь функциональность, которая заложена первоначально в протокол.

это придётся делать при работе через Socks5.
хотя наверное мало кто ходит в dc через прокси

Setuper, ну пока используется один порт... хотя я Павлу Пименову предлагал для актиного поиска использовать несколько UDP портов, чтобы снизить перемешивание результатов поисков.
НО в любом случая я специально предусмотрел "хвосты", чтобы можно было добавить что угодно, вплодь до еще множества портов, когда это понадобится.
В старых командах кстати добавление портов не предусмотрено.

а старые - это какие?

Все же придерживаюсь моей точки зрения: использование для соединения старых команд как с ipv4, так и с ipv6, определяя тип ip противоположной стороны по команде $UserIP. А при активном поиске отправлять сразу 2 команды.

И не городить огород!

можно. только UserIP немного излишняя. нужно только знать, какие протоколы поддерживает пир.
помог бы какой-нибудь флажок типа "бомба", но флажки, увы, уже все разобраны (можно у грея отхапать флажки М/Ж, но тогда будет неразбериха).
можно в тег признак

в-общем, админы хабов обычно не выдают список IP не потому, что экономят трафик, а потому, что мнят себя царьками, что только они видят полный список IP.
принудительное раскрытие IP снизит популярность хаба.

опять же, не решается вопрос передачи двух адресов сразу. если сделать только флажки (умеет ли клиент v4 и v6), задача $ConnectToMe решается.

Старые
$UserIP, $ConnectToMe, $RevConnectToMe и $Search
Новые
$UIP, $CTM и $SCH.

Setuper, я не понимаю, что именно вас пугает? У вас функции для обработки старых команд с IPv6 адресом внутри выйдут гораздо больше, чем для предложенных мной.

В общем я создал вам дополнение протокола, не вызывающее конфликтов, легкое в обработке, снижающее трафик и повышающее функциональность (благодаря возможности одновременного файлообмена и по ipv4 и по ipv6)
Вы предложили свой вариант, гораздо более сложный в обработке, вызывающий конфликты у старых клиентов (потому как они просто непонятно как будут вынимать этот ipv6 адрес), увеличивающий трафик чуть ли не в два раза.
Выбирайте.

AMD, насчет портов, не проблема, сейчас могу вписать их. Порт будет отправляться в командах, если он отличный от указанного в $UIP.

AMD, Можно и в тэг. Например:


В любом случае от хаба ничего не нужно. Все изменения со стороны клиента.

gif-t, меня пугает навороченность, которая выглядит не продуманной. Не знаю что на это всё ответят разработчики клиентов, но думаю им также покажется это всё черезчур навороченным.

Где навороченность? Навороченность - это ADC протокол.
У меня просто 3 команды с простой структурой для обработки. Яж не предлагаю устанавливать 2 соединения с хабом, слать всякие ключи, генерировать ID и т.п.
Всё очень просто, вы наверно полностью не вникли...
Я сделал на основе старых всего 3 команды и удалил ip:port из всех, кроме одной - $UIP
Никакой навороченности нет...

от хаба только отключить проверку адреса в команде, если не заморачиваться со схемой подтверждения коннекта по второму протоколу.



ну вроде RusHub и FlyLink - опенсорс. можешь проверить свою гипотезу о простоте изменений )))



но так ты и не решаешь проблему подтверждения второго ip, позволяя проводить махинации, используя хаб для DDoS

Ну проверка ip в русхабе отключается установкой в конфиге параметров bCheckCTMIp и bCheckSearchIp в 0.

Правда в текущей версии русхаба (2.3.8) существует баг с соединением по ipv6, но в следующей версии это уже будет исправлено (он уже исправлен на svn).

Ну в флайлинк я не полезу
А в своем клиенте сделаю.
Мне всего-то нужно добавить еще 3 функции для обработки этих 3-х команд и 3 для генерации.
Т.к., повторяюсь, структура очень проста - всего один разделить $, эти функции получатся минимальны по размеру.

Для вашего решения я уже написал функцию вынимания ipv6 адреса и search запроса (там проблема что и у блоков в адресе и у порта и адреса - разделитель двоеточие. Функция получилась очень корявой... а если учитывать что вы планируете передавать два адреса сразу, выйдет очень неаккуратный и кривой код. И вообще всё это теряет всякий смысл, зачем разбирать старые кривые неудобные команды, если можно сделать новые? Какраз такие, какие предложил я!
Оставлять для IPv6 старые команды вообще бессмысленно, т.к. клиенты, которые существуют сейчас, их всеравно не смогут разобрать, а новым клиентам вы бросаете палки в колеса.
Т.ч. взвесте всё еще раз, прочитайте http://mydc.ru/topic5172.html#entry42424 еще несколько раз и воспользуйтесь здравой логикой, правильное решение только одно!

Ты лучше спроси у разработчиков клиентов что они об этом думают?

Это в каком же?

одного не понимаю: зачем делать новый хаб на старом протоколе?
поддержка супер-навороченных старых хабов - понятна.

но в новом... пользователям протокол без разницы, а админам и программерам ADC удобнее.

Setuper, попробую их сейчас привлечь сюда.
mariner, пишу свой клиент, полностью с нуля ) это будет долгая история
AMD, я честно не знаю. Мне лично ADC не нравится, я не согласен с некоторыми его положениями. И если посмотреть статистику, со мной солидарны очень многие, adc хабов очень мало. Все крупные хабы остаются на NMDC, поэтому его стоит развивать.


Setuper, а можно где-нибудь посмотреть лог присоединения к ADC хабу? Сейчас решил быстро накатать код, посмотреть механизм, но не нашел описание функции hash(PID) == CID...

это обычный TTH
39-символьный PID декодируется в 24 байта двоичных данных (алгоритмом Base32).
затем считаем TTH, как если бы эти 24 байта были записаны в файл.