Сообщения без ответов | Активные темы Текущее время: 25 май 2024, 13:07



Ответить на тему  [ Сообщений: 14 ] 
Dropped packets в multicast через aggregated channel 
Автор Сообщение

Зарегистрирован: 26 июн 2023, 14:00
Сообщения: 5
Добрый! Требуется оплачиваемая помощь специалиста!

Конфигурация сети: стек 3850 соединён с 4-я стеками 2960х агрегированными каналами по 10+10Гб.
В 3850 подключены источники, передающие по UDP Multicast каждый свой видеопоток 250-900 Мб/с
В 2960 подключены приёмники, которые по rtsp подписываются на потоки и получают, максимум 14 потоков в сторону 2960 через один агрегированный канал (т.е. до 12,6 Гб/с через 20 Гб канал)
IGMP на вид работает нормально: при переключении приёмников видно, что ставший ненужным поток не идёт через канал между стеками.
Но чем больше поток на через агрегированный канал (?), тем чаще на приёмниках моргает картинка, они пишут про "dropped packets", но в sh int - Total output drops: 0, и вроде как везде всё норм.
В это же самое время, на приёмниках в менее загруженных стеках или на самом 3850 - всё в порядке, ничего не моргает и про dropped packets не пишет.
Если отключить один из линков в агрегированном канале - иногда проблема исчезает. Замена SFP модулей явно неудачных и рабочих не выявила - те, что отключал, потом работают норм, и ощибок в канале не видно.
Всё это по ощущениям начинается на 3Гб/с из 20.

У производителя приёмников-передатчиков (это Crestron NVX) в гайдах только про IGMP: на коммутаторе ip igmp snooping querier и ip igmp snooping vlan XXX immediate-leave, а на портах - no ip igmp snooping tcn flood, и есть проекты, где с этими настройками работает, будучи засунуто в разные стеки. В остальном производитель отмораживается - почему приёмник считает что у него на входе dropped packets. Может нарушается порядок UDP пакетов в потоке, или слишком неравно по времени идут?

Есть удалёнка, я готов там всё включать в любое удобное время - надеюсь, быстро найдём решение.


27 июн 2023, 13:33
Профиль
Супермодератор

Зарегистрирован: 01 окт 2008, 12:24
Сообщения: 4434
Со своей стороны скажу, что с Женей знакомы уже лет 12 наверно

Он достойно шарит в технике и вероятно много попробовал. Также могу сказать, что человек слова и за все работы будет уплачено. Такой опыт

Ну и до кучи - объект довольно непростой, за лаг картинки могут неиллюзорно выебсти.

Так что если кто в теме помогите Жене


27 июн 2023, 17:25
Профиль

Зарегистрирован: 14 мар 2012, 15:48
Сообщения: 327
"Eсли отключить один из линков в агрегированном канале - иногда проблема исчезает"

а иногда и появляется ? значит не в агрегации дело

Софт меняли ?


28 июн 2023, 06:52
Профиль

Зарегистрирован: 26 июн 2023, 14:00
Сообщения: 5
Благодарю!

Cadet писал(а):
"Eсли отключить один из линков в агрегированном канале - иногда проблема исчезает"

а иногда и появляется ? значит не в агрегации дело


Оно какое-то невнятное: если сбоило, то при переключении на другой линк, включении или отключении второго линка или замене SFP оно может нормализоваться или не. Я пытался вычислить "хорошие" или "плохие" железки - SFP, Networking modules, коммутаторы - безуспешно: кажется на любой железке может засбоить, а потом на ней же заработать.
В пределах стека 3850 всё как часы. На одном стеке 2960 на других объектах тоже устойчиво работает.

Cadet писал(а):
Софт меняли ?


На 3850 - старая 16.6.10, там коммутаторы с разными лицензиями и -S, и -L, и вроде как на более свежих прошивках не заработает license boot level ipservicesk9 (или license right-to-use activate ipservices all acceptEULA?) и стек превратится в тыкву из-за разных лицензий, хоть мне хватило бы и lan base.
На 2960 - предпоследняя 15.2(7)E7, E8 пока не нашёл
Что на что стоит заменить?
есть ли способ поднять прошивку стека 3850 из разномастных свитчей?


28 июн 2023, 12:35
Профиль

Зарегистрирован: 14 мар 2012, 15:48
Сообщения: 327
идите в телегу - там все есть - я в отпуск - но точно ваша проблема в софтах - я так думаю - на древних хуавеях и циско - все как у вас пахало на четверть Москвы


29 июн 2023, 21:28
Профиль

Зарегистрирован: 07 сен 2014, 02:54
Сообщения: 548
Откуда: Msk
Поскольку наплыва гуру не наблюдается, позвольте несколько соображений.

1. Разберитесь с софтом в свитчах, как уже написали.
Залейте актуальный во все.
На 3850 или 16.9.8 с RTU, или 16.12.9 + PLR.
На фоне цены всего проекта несколько сот баксов - не вопрос вообще.
Если вы не знаете где брать софт, как его заливать и активировать, то зачем было за это браться?
И не отличаете RTSP от IGMP.

2. "до 12,6 Гб/с через 20 Гб канал".
LAG 10G+10G - это не 20G. Это именно 10G+10G.
В определенных случаях все может упереться в один линк 10G.
Поскольку вы про это не упомянули, то можно предположить, что не заморачивались. "Оно само".

Объяснять лень, читайте:

Load-Balancing and Forwarding Methods
https://networkengineering.stackexchang ... -each-side

Port-Channel utilization
https://networkengineering.stackexchang ... tilization

Understand EtherChannel Load Balance and Redundancy on Catalyst Switches
https://www.cisco.com/c/en/us/support/d ... 023-4.html

show etherchannel load-balance
show port-channel traffic [interface port-channel 10]

3. У вас LAG или MLAG?
В общем разницы для проекта нет. Но могут быть косяки в IOS.

4. Уровень диагностики фееричный. Моргает/не моргает.

4.1 Сначала погоняйте iperf в обе стороны через транки. Желательно в несколько сессий одновременно.
Посмотрите потери. Балансировку и загрузку линков в транке.

4.2 Найдите какой-нибудь софт для мониторинга видео-потоков и IGMP.
Хоть VLC на ноуте.

Multicast Testing Tool
_https://ipcompro.net/IpComPro/Programs/General/Mcast-Tester/
_https://support.singlewire.com/s/software-downloads/a17C0000008Dg7AIAS/ictestermulticastzip

DQ Networks - Multicast Tester
_http://www.dqnetworks.ie/toolsinfo/mcasttest/

IGMP Querier
_http://www.coexsi.fr/publications/igmp-querier/

TS Reader
_https://www.tsreader.com/purchase/purchase/downloadlite.html
_https://www.videohelp.com/software/TSReader-Lite

MPEG-TS Analyzer
_http://www.coexsi.fr/publications/mpegts-analyzer/

СДСМ - Сети для самых маленьких. Часть девятая. Мультикаст
_https://linkmeup.gitbook.io/sdsm/9.-multicast

5. Проблема может быть совсем не в сети. Что никак не отменяет предыдущих пунктов.
А, например, в самих енкодерах.
Может вы просто устраиваете в один момент oversubscription.
И железки (Crestron NVX) просто не тянут нагрузку.
И пакеты пропадают потому, что стример просто не успевает их выдавать.

А может вы где-то прописали одинаковый мультикаст IP в разные железки.
И при обращении к этой группе начинает все раскорячивать.
А может тупо где-то в half-duplex порт сваливается.
Вариантов масса.

И нужно все это внимательно и методично отлаживать и искать однозначную причину.
По одному. А если вы меняете несколько составляющих одновременно, то понять что же привело
к проблеме - невозможно.
Т.е. нужно бегать, включать/выключать кодеки, смотреть инфу на свитчах и т.д.
Слабо представляю себе этот процесс удаленно.
Чел на месте бысто устанет, начнет истерить - ну когда уже?
Такое себе удовольствие. Да и непонятно чего ради, ценник проекта не указан.

P.S. Offtop. Помнится был похожий проект. Только с WISI Tangram и Chameleon.
И даже на курсах удалось побывать. Дитрибьютор устраивает периодически.
Так там вообще цирк. Ведущий - крутой дядка, там, транспондеры, Ku-диапазоны, все дела.
Но фишка в том, что эти Ku-диапазоны в headend-е присутствуют только во входных интерфейсных картах.
А дальше вся кросс-коммутация внутри IP-шная на внутреннем свитче и multicast-е.
А этот дядя свитч от роутера не отличает. Буквально. Прикольное зрелище.
Это как суровые телефонисты смотрят на SIP как б-н на новые ворота.
Сменилась эпоха.

_________________
Knowledge is Power


29 июн 2023, 23:20
Профиль

Зарегистрирован: 26 июн 2023, 14:00
Сообщения: 5
Silent_D писал(а):
Поскольку наплыва гуру не наблюдается, позвольте несколько соображений.


Благодарю! Ответил в личку, очень надеюсь договориться и решить вопрос


30 июн 2023, 13:29
Профиль

Зарегистрирован: 26 июн 2023, 14:00
Сообщения: 5
Silent_D, пожалуйста загляните в личку - надеюсь заинтересовать вас помочь с проектом удалённо, постараюсь обеспечить комфортные условия для диагностики.


03 июл 2023, 23:59
Профиль

Зарегистрирован: 07 сен 2014, 02:54
Сообщения: 548
Откуда: Msk
На что еще можно обратить внимание:

6. IGMP Version. v3 или v2.

В принципе v2 достаточно для большинства типовых случаев.
Но если все уже переехали на v3, то не проблема.
Главное - чтобы во всей инфраструктуре она была одинаковая.
И в стримерах, и в свитчах, и в приемниках. И явно указанная, а не Auto.

Там как бы заявлена обратная совместимось, в стандарте.
Но как она реализована - это вопрос.
А вопросов тут и так хватает.

7. Multicast addresses.

The 239.0.0.0/8 range is assigned by RFC 2365 for private use within an organization.

Код:
Table 9 Administratively Scoped Addresses 239.0.0.0/8
Range                           Description                              Reference
239.000.000.000-239.191.255.255 Organization-Local Scope Expansion Space [Meyer, RFC 2365]
239.192.000.000-239.195.255.255 Organization-Local Scope                 [Meyer, RFC 2365]
239.195.000.000-239.254.255.255 Site-Local Scope Expansion Space         [Meyer, RFC 2365]
239.255.000.000-239.255.255.255 Site-Local Scope                         [Meyer, RFC 2365]

- Organization-Local Scope addresses are recommended for private use within an organization
for intersite applications that will be run regionally or globally.

- The address range numerically below the Organization-Local Scope is intended
as the expansion space for the Organization-Local Scope. Organizations can allocate
or subdivide this range as needed either to extend the Organization-Local Scope
or to create other geographically smaller subscopes within the Enterprise.

Вы ведь не назначали на свои группы 224.0.0.x?
Ведь не назначали, правда? :-)

7.
И с Crestron NVX и терминалами - что там с софтом?
Вы добыли и залили текущие стабильные прошивки?
Или там так же, как с Cisco?

8.
> Я почти уверен, что засада с приёмниками NVX
> Стример определённо успевает всё - потому что приёмник, засунутый на 3850 или на малозанятый стек 2960
> этот же поток показывает отл, в то время как другие на "плотно занятом" 2960 - тупят.

Но ведь этот "плотно занятый 2960" не сам по себе занят.
Через него идут видео-потоки со стримера.
Т.е. стример тоже загружается.
Имеем два фактора, фиг знает какой влияет.
Или это все одновременно? Или нет?

9. И mrouter port(s) на 3850 у вас как-то назначается?
Или тоже "оно само"?

Switch# show ip igmp snooping mrouter

_________________
Knowledge is Power


08 июл 2023, 23:20
Профиль

Зарегистрирован: 07 сен 2014, 02:54
Сообщения: 548
Откуда: Msk
9.1
MRouter у вас кто? Свитч 3850 (IGMP Snooping Querier) или стример(ы).
Стримеры как настроены?
Broadcaster - Flooding or On request (by IGMP)?

Т.е. IGMP у вас в стримерах включен?
Или они в режиме флудинга?
Может быть и так и так. Это просто разные схемы.
У вас какая?

When administratively enabled, the IGMP snooping querier moves to the nonquerier state
if it detects the presence of a Multicast Router in the network (PIM Hello).

_________________
Knowledge is Power


09 июл 2023, 00:20
Профиль

Зарегистрирован: 07 сен 2014, 02:54
Сообщения: 548
Откуда: Msk
10.
eoulianov писал(а):
В 3850 подключены источники, передающие по UDP Multicast каждый свой видеопоток 250-900 Мб/с

Вот еще попалось такое соображение:

RTP vs UDP Streaming

RTP was specifically designed for delivering realtime multimedia and has built in capabilities
for detecting out of sequence packets and jitter compensation.

UDP obviously doesn't have any of this.

У вас там UDP прямо гвоздями прибито в проекте?
Нет возможности переключиться на RTP Streaming? Crestron наверняка такое умеет.
Там есть встроенные механизмы борьбы с проблемами, которые у вас наблюдаются.
Возможно в UDP это в порядке вещей, т.е. "не баг, а фича".
Это может быть связано с тем, что в свитче Ethernet пакеты буферезируются при определенной нагрузке
и затем выдаются из очереди не совсем в том порядке, в каком приходили.
В TCP это автоматом фиксится, в RTP тоже, а в UDP это никак не исправить. Как пришло, так пришло.

One of the functions of TCP is to prevent the out-of-order delivery of data,
either by reassembling packets in order or requesting retransmission of out-of-order packets.

_________________
Knowledge is Power


09 июл 2023, 03:50
Профиль

Зарегистрирован: 07 сен 2014, 02:54
Сообщения: 548
Откуда: Msk
11.
В продолжение предыдущего пункта.
Это правда про роутеры, и давно было, но ...
звучит очень похоже.

Cisco Bug: CSCee32946
Multicast Out of Order Packets occur with FS and traffic shaping

Symptoms: Multicast packets with UDP payload may be sent out of order under
bursty traffic conditions.

Conditions: This occurs with multicast fast switching enabled.

https://quickview.cloudapps.cisco.com/q ... CSCee32946

Это к вопросу обновления софта насколько возможно.
Что, впрочем, не снимает вопроса перехода на RTP Streaming.
Запаса надежности никогда много не бывает.

_________________
Knowledge is Power


09 июл 2023, 04:30
Профиль

Зарегистрирован: 26 июн 2023, 14:00
Сообщения: 5
Silent_D писал(а):
На что еще можно обратить внимание:
6. IGMP Version. v3 или v2.


Сейчас v2, и это вроде работает: потоки получаются, и а когда перестают быть нужны - не получаются.
Могу перевести систему в v3, но побаиваюсь как раз что Crestron могли недотестировать с ним.

Silent_D писал(а):
7. Multicast addresses.


С 239.10.0.8 и дальше через 8, это делалось на Crestron с целью в промежутки добавлять другие потоки, например звук AES67 и Dante.

Silent_D писал(а):
7.
И с Crestron NVX и терминалами - что там с софтом?


Эти на последней версии, тут норм с доступностью. В Crestron рынок меньше и если не всплыли ядерные проблемы в прошивке, то обычно последняя считается лучшей.
Но да, возможно стоит попробовать глубоко даунгрейднуть их все..

Silent_D писал(а):
8.
> Я почти уверен, что засада с приёмниками NVX
> Стример определённо успевает всё - потому что приёмник, засунутый на 3850 или на малозанятый стек 2960
> этот же поток показывает отл, в то время как другие на "плотно занятом" 2960 - тупят.

Но ведь этот "плотно занятый 2960" не сам по себе занят.
Через него идут видео-потоки со стримера.
Т.е. стример тоже загружается.
Имеем два фактора, фиг знает какой влияет.
Или это все одновременно? Или нет?


Этот же поток со стриммера на 3850 показывает на ура, засада - когда он оказался на той стороне в 2960, и в соседстве с 3+ другими потоками. Но есть 2960 с 9 потоками, который работает норм.

Silent_D писал(а):
9. И mrouter port(s) на 3850 у вас как-то назначается?
Или тоже "оно само"?

Switch# show ip igmp snooping mrouter

[/quote]

на 3850:
Vlan ports
---- -----
11 Switch
На остальных:
11 Po1(dynamic)

Silent_D писал(а):
9.1
MRouter у вас кто? Свитч 3850 (IGMP Snooping Querier) или стример(ы).
Стримеры как настроены?
Broadcaster - Flooding or On request (by IGMP)?


на 3850 есть ip igmp snooping querier и ip igmp snooping vlan 11 immediate-leave, на остальных - без querier. На портах доступа - no ip igmp snooping tcn flood. В стриммерах - только настройка версии IGMP.
Это сделано по методичке из Crestron.

Silent_D писал(а):
10. RTP vs UDP Streaming


Streaming Protocols RTP, SDP
Container MPEG-2 transport stream (.ts)
Session Initiation Multicast via secure RTSP
Copy Protection HDCP 2.2, AES-128, PKI

Это я протупил - поток RTP.

Silent_D писал(а):
11. к вопросу обновления софта насколько возможно

Поможете поставить 16.9 или 16.12 в триал Smart License чтобы проверить станет ли хорошо? Я попробовал 16.9 - все транковые порты стали жёлтые не определил почему, и обратно вернул 16.6


10 июл 2023, 18:12
Профиль

Зарегистрирован: 02 ноя 2013, 08:12
Сообщения: 792
Silent_D писал(а):
Поскольку наплыва гуру не наблюдается, позвольте несколько соображений.

1. Разберитесь с софтом в свитчах, как уже написали.
Залейте актуальный во все.
На 3850 или 16.9.8 с RTU, или 16.12.9 + PLR.
На фоне цены всего проекта несколько сот баксов - не вопрос вообще.
Если вы не знаете где брать софт, как его заливать и активировать, то зачем было за это браться?
И не отличаете RTSP от IGMP.

2. "до 12,6 Гб/с через 20 Гб канал".
LAG 10G+10G - это не 20G. Это именно 10G+10G.
В определенных случаях все может упереться в один линк 10G.
Поскольку вы про это не упомянули, то можно предположить, что не заморачивались. "Оно само".

Объяснять лень, читайте:

Load-Balancing and Forwarding Methods
https://networkengineering.stackexchang ... -each-side

Port-Channel utilization
https://networkengineering.stackexchang ... tilization

Understand EtherChannel Load Balance and Redundancy on Catalyst Switches
https://www.cisco.com/c/en/us/support/d ... 023-4.html

show etherchannel load-balance
show port-channel traffic [interface port-channel 10]

3. У вас LAG или MLAG?
В общем разницы для проекта нет. Но могут быть косяки в IOS.

4. Уровень диагностики фееричный. Моргает/не моргает.

4.1 Сначала погоняйте iperf в обе стороны через транки. Желательно в несколько сессий одновременно.
Посмотрите потери. Балансировку и загрузку линков в транке.

4.2 Найдите какой-нибудь софт для мониторинга видео-потоков и IGMP.
Хоть VLC на ноуте.

Multicast Testing Tool
_https://ipcompro.net/IpComPro/Programs/General/Mcast-Tester/
_https://support.singlewire.com/s/software-downloads/a17C0000008Dg7AIAS/ictestermulticastzip

DQ Networks - Multicast Tester
_http://www.dqnetworks.ie/toolsinfo/mcasttest/

IGMP Querier
_http://www.coexsi.fr/publications/igmp-querier/

TS Reader
_https://www.tsreader.com/purchase/purchase/downloadlite.html
_https://www.videohelp.com/software/TSReader-Lite

MPEG-TS Analyzer
_http://www.coexsi.fr/publications/mpegts-analyzer/

СДСМ - Сети для самых маленьких. Часть девятая. Мультикаст
_https://linkmeup.gitbook.io/sdsm/9.-multicast

5. Проблема может быть совсем не в сети. Что никак не отменяет предыдущих пунктов.
А, например, в самих енкодерах.
Может вы просто устраиваете в один момент oversubscription.
И железки (Crestron NVX) просто не тянут нагрузку.
И пакеты пропадают потому, что стример просто не успевает их выдавать.

А может вы где-то прописали одинаковый мультикаст IP в разные железки.
И при обращении к этой группе начинает все раскорячивать.
А может тупо где-то в half-duplex порт сваливается.
Вариантов масса.

И нужно все это внимательно и методично отлаживать и искать однозначную причину.
По одному. А если вы меняете несколько составляющих одновременно, то понять что же привело
к проблеме - невозможно.
Т.е. нужно бегать, включать/выключать кодеки, смотреть инфу на свитчах и т.д.
Слабо представляю себе этот процесс удаленно.
Чел на месте бысто устанет, начнет истерить - ну когда уже?
Такое себе удовольствие. Да и непонятно чего ради, ценник проекта не указан.

P.S. Offtop. Помнится был похожий проект. Только с WISI Tangram и Chameleon.
И даже на курсах удалось побывать. Дитрибьютор устраивает периодически.
Так там вообще цирк. Ведущий - крутой дядка, там, транспондеры, Ku-диапазоны, все дела.
Но фишка в том, что эти Ku-диапазоны в headend-е присутствуют только во входных интерфейсных картах.
А дальше вся кросс-коммутация внутри IP-шная на внутреннем свитче и multicast-е.
А этот дядя свитч от роутера не отличает. Буквально. Прикольное зрелище.
Это как суровые телефонисты смотрят на SIP как б-н на новые ворота.
Сменилась эпоха.


Так plr зачем если все rtu?


21 июл 2023, 20:13
Профиль
Показать сообщения за:  Поле сортировки  
Ответить на тему   [ Сообщений: 14 ] 

Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и гости: 15


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Создано на основе phpBB® Forum Software © phpBB Group
Designed by ST Software for PTF.
Русская поддержка phpBB