Здравствуйте, не могу разобраться почему не работает port-channel

История следующая - есть свич 4506,
Cisco IOS Software, Catalyst 4500 L3 Switch Software (cat4500-IPBASEK9-M), Version 12.2(54)SG, RELEASE SOFTWARE (fc3)

sh mod

Chassis Type : WS-C4506

Power consumed by backplane : 0 Watts

Mod Ports Card Type Model Serial No.
---+-----+--------------------------------------+------------------+-----------
1 2 Supervisor II+ 1000BaseX (GBIC) WS-X4013+ JAE09033XBD
2 48 10/100/1000BaseT (RJ45) WS-X4448-GB-RJ45 JAE08512QGZ
3 48 10/100/1000BaseT (RJ45) WS-X4448-GB-RJ45 JAE08512QFJ
4 48 10/100/1000BaseT (RJ45) WS-X4448-GB-RJ45 JAE1014Z6VL

Создаю порт ченел из 2-х интерфейсов который зацепляю на ESX хост.

interface Port-channel12
switchport
switchport mode access

interface GigabitEthernet2/23
description esx02_01
switchport mode access
channel-group 12 mode on

interface GigabitEthernet2/23
description esx02_02
switchport mode access
channel-group 12 mode on

свич говорит что все вродебы в порядке

Switch#sh etherchannel 12 s
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
R - Layer3 S - Layer2
U - in use f - failed to allocate aggregator

M - not in use, minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port


Number of channel-groups in use: 7
Number of aggregators: 7

Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
12 Po12(SU) - Gi2/23(P) Gi2/24(P)


Switch#sh etherchannel 12 d
Group state = L2
Ports: 2 Maxports = 8
Port-channels: 1 Max Port-channels = 1
Protocol: -
Minimum Links: 0
Ports in the group:
-------------------
Port: Gi2/23
------------

Port state = Up Mstr In-Bndl
Channel group = 12 Mode = On Gcchange = -
Port-channel = Po12 GC = - Pseudo port-channel = Po12
Port index = 0 Load = 0x00 Protocol = -

Age of the port in the current state: 0d:00h:16m:03s

Port: Gi2/24
------------

Port state = Up Mstr In-Bndl
Channel group = 12 Mode = On Gcchange = -
Port-channel = Po12 GC = - Pseudo port-channel = Po12
Port index = 1 Load = 0x00 Protocol = -

Age of the port in the current state: 0d:00h:16m:03s

Port-channels in the group:
---------------------------

Port-channel: Po12
------------

Age of the Port-channel = 0d:00h:39m:39s
Logical slot/port = 11/12 Number of ports = 2
GC = 0x00000000
Port state = Port-channel Ag-Inuse
Protocol = -
Port security = Disabled

Ports in the Port-channel:

Index Load Port EC state No of bits
------+------+------+------------------+-----------
0 00 Gi2/23 On 0
1 00 Gi2/24 On 0

Time since last port bundled: 0d:00h:16m:03s Gi2/24
Time since last port Un-bundled: 0d:00h:16m:03s Gi2/24


ESX тоже особо не ругается

Теперрь суть проблемы
На ESX создаю виртуалку (будущий файлсервер) и с двух разных машин начинаю писать на него файлы
беда в том что используется только один интерфейс, точнее с обеих машин скорость 55-60 мегабайт в секунду.

Перепробовал разные конфигурации, перегружался, даже на свиче ios поменял - результат один и тоже

В конце концов взял др свич (2970) и сделал все тоже самое на нем - и на нем все заработало как положено!
Тоесть с каждой машины скорость по 100 мегабайт в секунду

Я понимаю что это железки разного класса, 2970 сильно уступает по фукционалу 4506 (2970 -лаер2, а 4506 - лаер 3)
И по всей видимости нужно что то выключить или включить на 4506 но что я не знаю ((

Конфинг 4506 (без интерфейсов)

version 12.2
no service pad
service timestamps debug uptime
service timestamps log datetime
no service password-encryption
service compress-config
service sequence-numbers
!
hostname Switch
!
boot-start-marker
boot system flash slot0:cat4500-ipbasek9-mz.122-54.SG.bin
boot-end-marker
!
enable password ****
!
username ap privilege 15 secret 5 **********
!
!
no aaa new-model
clock timezone MSK 3
ip subnet-zero
!
!
ip vrf mgmtVrf
!
vtp domain ''
vtp mode transparent
!
!
!
power redundancy-mode redundant
!
!
!
!
spanning-tree mode pvst
spanning-tree extend system-id
no spanning-tree vlan 1
!
vlan internal allocation policy ascending
!
vlan 2
!
vlan 3
name RS
!
vlan 5
name Metasan
!
vlan 10
name Internet
!
vlan 77
name squid
!
vlan 100
!
!!!!!!!!!!! Interfaces config
!!!!!!!!!!! Interfaces config
!!!!!!!!!!! Interfaces config

interface Vlan1
ip address 192.168.50.22 255.255.255.0
no ip route-cache cef
no ip route-cache
!
interface Vlan2
no ip address
shutdown
!
interface Vlan77
description squid
no ip address
no ip route-cache cef
no ip route-cache
!
interface Vlan100
no ip address
shutdown
!
ip http server
no ip http secure-server
!
!
!
!
control-plane
!
!
line con 0
stopbits 1
line vty 0 4
password jcsi
no login

Поиграйтесь с командой "port-channel load-balance .....", в одном из режимов наверняка заработает получше.

Пробовал - результат отдин и тотже
WMware настаивает чтобы port-channel load-balance src-dst-ip (у них это называется "Route based on IP hash")

Для 4506 это опция по дефолту, тоесть когда ее указываешь явно в конфиге, потом (sh ru) ее нету
Для 2970 дефолный алгоритм src-dst-mac - там я указывал src-dst-ip

Такое ощущение что гдето в глобальной конфигурации что то нужно выключить .... может netflow?

Тестовые машины кстати в одном влане с ESX?

Да
Update
попробовал ESX и клиентов вынести в отдельный влан
а также подключил их в один физический модуль
same shit

Возможно проблема в переподписке, попробуйте максимально разнести интерфейсы вместо того чтобы брать соседние

А переподписка это что?

У нас сейчас 3 модуля по 48 портов - пробовал и так и сяк - одинаково.

глупый вопрос. на esx настроен lacp?

ДА )))

Я повторяю - самое поразительное что эта все работает на др свиче с таким же конфигом как и полагается, а вот с этим что то недонастроено видимо.

Переподписка это когда на несколько физических интерфейсов одно подключение на шину модульного коммутатора. Например 8x1G интерфейсов подключаются к шине через бутылочное горлышко в 1G.

на 4тоннике какая балансировка присутствует по порт ченнелу? можешь показать?
netflow как бы вобще не из той оперы.

попробуй вобще разобрать тиминг, и на вмваре настройки по автомату, посмотри, также будет?
я у себя завтра посмотрю как балансируется у меня Esx хосты на 6 тонниках, но вроде я сильно голову не забивал этим.

Возможно дело и не в channel. Скорость TCP потоков очень сильно зависит от RTT, на гигабитных каналал при незначительном увеличении может упасть в разы.
И чисто конструктивно, в 2970 RTT должен быть меньше, чем в крутом 4500.

Может померить iperf? И желательно в много-потоковом режиме.

что такое 4тонник?

согласен - чето уже себе всю голову сломал, имел ввиду flowcontrol



Если разбиваю тим тогда суммарная не больше 1 гигабита ((, как и сейчас

A Catalyst 4500/4000 series switch with Cisco IOS Software (Supervisor Engine II+ and later) supports a maximum of 64 EtherChannels. You can form an EtherChannel with up to eight compatibly configured Ethernet interfaces on any module and across modules. All interfaces in each EtherChannel must be the same speed, and you must configure all the interfaces as either Layer 2 or Layer 3 interfaces.

EtherChannel reduces part of the binary pattern that is formed from the addresses in the frame to a numerical value that selects one of the links in the channel in order to balance the traffic load across the links in a channel. EtherChannel load balancing can use MAC addresses, IP addresses, or Layer 4 port numbers and either source mode, destination mode, or both. Use the option that provides the greatest variety in your configuration. For example, if the traffic on a channel only goes to a single MAC address, use of the destination MAC address results in the choice of the same link in the channel each time. Use of source or IP addresses can result in a better load balance. Issue the port-channel load-balance {src-mac | dst-mac | src-dst-mac | src-ip | dst-ip | src-dst-ip | src-port | dst-port | src-dst-port} global configuration command in order to configure load balancing. Load Balance must be configured globally and the load balancing option cannot be changed on a per port basis.

в принципе вот режимы которые есть.
я бы попробывал сделать на src-dst-port и src-dst-ip. Если рассматривать что много клиентов обращаются к виртуалке(кам)
может под ночь уже туплю, но мне кажется режим балансировки включится только когда будет дофига коннектов, т.е. появится физически что балансировать. (100 клиентов к 1 виртуален)
и попробуйте ради интереса переделать в mode active.(и на интерфейсах channel-protocol lacp) вы включите LACP, там тоже самое будет?

UPDATE!

Сейчас взял обычную рабочую станцию под седьмой виндой, воткнул ее в злополучный свич обеими интерфейсами
Интеловоми дровами настроил тим, он мне как и полагается написа скорость 2 Gb
на каталисте

interface Port-channel2
switchport
switchport mode access
end

Switch#sh etherchannel 2 s
Flags: D - down P - bundled in port-channel
I - stand-alone s - suspended
R - Layer3 S - Layer2
U - in use f - failed to allocate aggregator

M - not in use, minimum links not met
u - unsuitable for bundling
w - waiting to be aggregated
d - default port


Number of channel-groups in use: 7
Number of aggregators: 7

Group Port-channel Protocol Ports
------+-------------+-----------+-----------------------------------------------
2 Po2(SU) LACP Gi2/41(P) Gi2/42(P)

interface GigabitEthernet2/41
description Post01-1
switchport mode access
no cdp enable
channel-group 2 mode active
spanning-tree portfast
spanning-tree bpduguard enable


interface GigabitEthernet2/42
description Post-01-2
switchport mode access
no cdp enable
channel-group 2 mode active
spanning-tree portfast
spanning-tree bpduguard enable

Switch#sh etherchannel 2 d
Group state = L2
Ports: 2 Maxports = 8
Port-channels: 1 Max Port-channels = 1
Protocol: LACP
Minimum Links: 0
Ports in the group:
-------------------
Port: Gi2/41
------------

Port state = Up Mstr Assoc In-Bndl
Channel group = 2 Mode = Active Gcchange = -
Port-channel = Po2 GC = - Pseudo port-channel = Po2
Port index = 0 Load = 0x00 Protocol = LACP

Flags: S - Device is sending Slow LACPDUs F - Device is sending fast LACPDUs.
A - Device is in active mode. P - Device is in passive mode.

Local information:
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi2/41 SA bndl 32768 0x2 0x2 0x2D 0x3D

Partner's information:

LACP port Admin Oper Port Port
Port Flags Priority Dev ID Age key Key Number State
Gi2/41 SA 255 0015.17c5.4518 20s 0x0 0x11 0x1 0x3D

Age of the port in the current state: 0d:00h:31m:20s

Port: Gi2/42
------------

Port state = Up Mstr Assoc In-Bndl
Channel group = 2 Mode = Active Gcchange = -
Port-channel = Po2 GC = - Pseudo port-channel = Po2
Port index = 1 Load = 0x00 Protocol = LACP

Flags: S - Device is sending Slow LACPDUs F - Device is sending fast LACPDUs.
A - Device is in active mode. P - Device is in passive mode.

Local information:
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi2/42 SA bndl 32768 0x2 0x2 0x2E 0x3D

Partner's information:

LACP port Admin Oper Port Port
Port Flags Priority Dev ID Age key Key Number State
Gi2/42 SA 255 0015.17c5.4518 20s 0x0 0x11 0x2 0x3D

Age of the port in the current state: 0d:00h:31m:19s

Port-channels in the group:
---------------------------

Port-channel: Po2 (Primary Aggregator)

------------

Age of the Port-channel = 0d:06h:25m:24s
Logical slot/port = 11/2 Number of ports = 2
Port state = Port-channel Ag-Inuse
Protocol = LACP
Port security = Disabled

Ports in the Port-channel:

Index Load Port EC state No of bits
------+------+------+------------------+-----------
0 00 Gi2/41 Active 0
1 00 Gi2/42 Active 0

Time since last port bundled: 0d:00h:31m:22s Gi2/42
Time since last port Un-bundled: 0d:00h:33m:19s Gi2/41



Тоесть вроде все в порядке, теперь иду на соседние машины и пробую повторить тест
такаяже история - суммарный поток не больше 1 Gb

я там пока писал еще раз, вы уже написали свое.

попробуйте сделать так:
поставить iperf на машину с тимингом.
взять больше 2х машин, в идеале вобще бы штук 5-10 и запустить с них iperf. и поставить на тесты, и тогда посмотреть что будет.

Это я все понимаю
esx на сколько мне известно работает только channel-group XX mode on
Это написано и оф документации, да и в блогах народ рекомендует только этот режим
Для экспиримента я перепробовал все возможные - результат - бонд не поднимается ни в каком кроме вышесказаного.

На счет балансировки - свич обязан это делать! Я сам это вижу собственными глазами на др свиче, к томуже я ставил такие связки в др местах и они распределяют нагрузку как полагается, у тут что то затык (

Сделаю но наверное на выходных

хорошо, если это работает на том свитче, сделайте на том, посмотрите какая там стоит балансировка, какие настройки cef и попробовать сделать такие же.

введи на 4500 show etherchannel load-balance и на втором свитче где все хорошо

в том то и проблем что все одинаково

Switch_2970#sh etherchannel load-balance
EtherChannel Load-Balancing Configuration:
src-dst-ip

EtherChannel Load-Balancing Addresses Used Per-Protocol:
Non-IP: Source XOR Destination MAC address
IPv4: Source XOR Destination IP address
IPv6: Source XOR Destination IP address

Switch_4506#sh etherchannel load-balance
EtherChannel Load-Balancing Configuration:
src-dst-ip

EtherChannel Load-Balancing Addresses Used Per-Protocol:
Non-IP: Source XOR Destination MAC address
IPv4: Source XOR Destination IP address
IPv6: Source XOR Destination IP address

Хочу wr er, но пока это сделать нвозможно потому-что народ работает

Есть предположение - но возможно неверное - просьба просветить
Когда я пришел на эту работу на свиче стоял cat os. Поскольку я его совершенно не знаю а также в погоней за новым и клевым я обновил его на IOS
Сейас смотря инфу по модулям видно что супервизор использует древнее фирмваре (от cat os)

Switch#sh mod
Chassis Type : WS-C4506

Power consumed by backplane : 0 Watts

Mod Ports Card Type Model Serial No.
---+-----+--------------------------------------+------------------+-----------
1 2 Supervisor II+ 1000BaseX (GBIC) WS-X4013+ JAE09033XBD
2 48 10/100/1000BaseT (RJ45) WS-X4448-GB-RJ45 JAE08512QGZ
3 48 10/100/1000BaseT (RJ45) WS-X4448-GB-RJ45 JAE08512QFJ
4 48 10/100/1000BaseT (RJ45) WS-X4448-GB-RJ45 JAE1014Z6VL

M MAC addresses Hw Fw Sw Status
--+--------------------------------+---+------------+----------------+---------
1 001c.581f.a640 to 001c.581f.a641 3.1 12.1(20r)EW1 12.2(54)SG Ok
2 0012.d9d3.5290 to 0012.d9d3.52bf 1.1 Ok
3 0012.da8c.f100 to 0012.da8c.f12f 1.1 Ok
4 0017.0e48.30d0 to 0017.0e48.30ff 1.2

тут сылка на ромон моего супервизора
http://www.cisco.com/cisco/software/release.html?mdfid=278299256&flowid=2422&softwareid=280805687&release=12.2(31r)SGA4&rellifecycle=&relind=AVAILABLE&reltype=latest

Соответственно вопрос может стоит обновиться? И так сказать в продолжение вопроса - не поможет ли мне кно нибудь с этим?

Да помочь-то не проблема
http://www.anticisco.ru/soft/cat4500-io ... 2_31r_SGA4

Но вот ума не приложу, чем апгрейд РОМа может помочь.

Со своей стороны мне и добавить нечего: ребята понаотвечали уже все известные мне трики
Единственно что: попробуйте сделать L3 ip port-channel и маршрутизацию через него. Может сработать.

Спасибо большое за rommon!!!!

Теперь поврос про лаер3, сочинил примерно такой конфиг


Создаес вланы для локалки и виртуалки:

Int Vlan 50
description VMware
ip add 192.168.50.22 255.255.255.0

Int Vlan10
description LAN
ip address 192.168.10.22 255.255.255.0

Создаем портченнел 3-го уровня
int po12
description Portchannel for ESX02
ip address 192.168.60.56 255.255.255.255

int range gi2/23-24
no switchport
no ip add
channel-group 12 mode on

На каталисте включаем маршрутизацию
ip routing

Для всех машин каталист = дефаулт гейтвей
для локалки
192.168.10.XX
255.25.255.0
192.168.10.22 (ip ctalyst)

для виртуальных машин
192.168.50.XX
255.255.255.0
192.168.50.22 (ip catalyst)

Я правильно мыслю? (а то никогда портченелы третьего уровня не делал, наверное что то незаю), прокоментируйте плз

Нет, не так.

Int Vlan10
description LAN
ip address 192.168.10.22 255.255.255.0

int po12
description Portchannel for ESX02
ip add 192.168.50.22 255.255.255.0

ip routing

А порт ченнел?

как и написали:

int range gi2/23-24
no switchport
no ip add
channel-group 12 mode on