antiCisco blogs


блоги по технологиям и оборудованию cisco от инструкторов

Опубликовано 17 Март , 2012

Введение: cisco на своих «больших» коммутаторах 65 серии не так давно внедрила довольно удобную штуку VSS (14400). Такой аналог стека на 3750-х. Правда, связь между шасси осуществляется при помощи старенького etherchannel. И есть мнение, что 20Гбит/сек мало для высоконагруженного ядра. Конечно, циска внедрила механизм минимизации нагрузки на этот линк между шасси, стараясь не допустить «лишнего хопа» по VSL (Virtual Switch Link).

Данная технология здорово упрощает логическую топологию сети, уменьшает количество точек настройки да и вообще – хорошо продается 🙂
В данной заметке я хочу поделиться с вами результатами нескольких экспериментов, проведенных над VSS в рамках отладки одной ошибки. Сразу оговорюсь: ошибка была незначительная, но требовала «разобрать» VSS. Мы с Siv решили заодно потестить, что происходит в случае разных сбоев. Итак:

При сборке стека VSS необходимо учитывать несколько основных моментов:
1. Одинаковые версии софта (IOS)
Начиная с IOS12.2(33)
2. Поддерживаемые модули
Начиная с 67xx (и свежее – 68хх, 69хх). Набивка шасси не обязательно должна быть одинаковая.
3. Супервайзоры и Feature card
VS-S720-10G-3C (VS-S720-10G-3CXL)
VS-Sup2T (XL)
DFC3C (DFC3CXL) и свежее (DFC4C).

4. минимум по 2 10Г модуля для связи супервизоров (они есть встроенные в указанные супервайзоры)
Можно и больше интерфейсов 10Г, задействовав дополнительные из линейных карт.
Я намеренно подробно не касаюсь вещей, описанных в гидах, например, здесь:
http://www.cisco.com/en/US/docs/switches/lan/catalyst6500/ios/12.2SX/configuration/guide/vss.html

Будем считать, что вы собрали VSS по гидам и все заработало. Но вы точно не знаете (а проверять стремно), что будет, если что-то сломается. Вот и пробежимся по этим «если». Но для затравки напомню, какие основные шаги требуются при настройке.

При первоначальной настройке необходимо задать, какой из 65хх будет основным, а какой — запасным.
SW(config)# switch virtual domain #
SW(config-vs-domain)# switch {1|2}

После этого необходимо настроить на разных 65хх пару 10Г портов, связанных в etherchannel.
Важно: номера этих port-channel на разных коммутаторах должны быть РАЗНЫЕ! Иначе после объединения конфига будет ошибка. Объединение происходит при ПЕРВОНАЧАЛЬНОМ переходе к VSS.

SW# switch convert mode virtual

После этого конфигурация сохраняется в NVRAM и обе железки перезагружаются
Примечание: если надо вернуться обратно, то используем команду

SW# switch convert mode stand-alone

После этой команды весь конфиг, касающийся VSS удаляется, текущая конфигурация сохраняется в NVRAM и железка перезагружается уже с обычном режиме.

Теперь немного помучаем собранный VSS

Консоль, подключенная в запасной коммутатор, когда VSS уже собран, позволяет зайти в непривилегированный режим, но не позволяет ввести других команд, в частности enable. Это гарантированно не дает изменить настройку через вторичный коммутатор.

MSK-HQ-SC01-sdby>
Standby console disabled

При разрыве одной связи между супервайзорами только основной коммутатор ругается, но VSS остается жив без перерыва связи.
При разрыве всех связей из VSL ругаются оба коммутатора, при этом резервный тоже становится активным (даже приглашение меняется).

MSK-HQ-SC01-sdby>
Feb 28 17:12:38.717: %VSLP-SW2_SPSTBY-3-VSLP_LMP_FAIL_REASON: Te2/5/4: Link down
Feb 28 17:12:38.717: %VSLP-SW2_SPSTBY-2-VSL_DOWN: Last VSL interface Te2/5/4 went down
Feb 28 17:12:38.721: %VSLP-SW2_SPSTBY-2-VSL_DOWN: All VSL links went down while switch is in Standby role
Feb 28 17:12:38.721: %DUAL_ACTIVE-SW2_SPSTBY-1-VSL_DOWN: VSL is down - switchover, or possible dual-active situation has occurred
Feb 28 17:12:38.721: %PFREDUN-SW2_SPSTBY-6-ACTIVE: Initializing as Virtual Switch ACTIVE processor
Feb 28 17:12:39.377: %SYS-SW2_SPSTBY-3-LOGGER_FLUSHED: System was paused for 00:00:00 to ensure console debugging output.
Feb 28 17:12:40.549: %C6KPWR-SP-4-PSOK: power supply 1 turned on.
Feb 28 17:12:40.549: %C6KPWR-SP-4-PSOK: power supply 2 turned on.
Feb 28 17:12:40.917: %OIR-SW2_SP-6-INSCARD: Card inserted in slot 3, interfaces are now online
Feb 28 17:12:40.917: %OIR-SW2_SP-6-INSCARD: Card inserted in slot 4, interfaces are now online
Feb 28 17:12:40.993: %OIR-SW2_SP-6-INSCARD: Card inserted in slot 5, interfaces are now online
MSK-HQ-SC01>en
Password:
MSK-HQ-SC01#sh run
Building configuration...

Важно: в нашем случае изначально был отключен механизм проверки split brain. Если такой механизм подключить, то разрыв etherchannel (VSL) не приводит к ситуации, когда оба коммутатора считают себя основными со всеми вытекающими неприятными последствиями.
При этом резервный коммутатор знает все конфигурации (и running и startup), помнит про все модули и порты на основном. Единственные отличия — в настройке принадлежности к VSS — кто первичный, а кто — вторичный коммутатор. Поэтому в частности размер файлов конфигурации не одинаковый на двух коммутаторах.
(кусочки настройки VSS)

platform hardware vsl pfc mode pfc3c
!
interface Port-channel77
no switchport
no ip address
switch virtual link 1
mls qos trust cos
no mls qos channel-consistency
!
interface Port-channel78
no switchport
no ip address
switch virtual link 2
mls qos trust cos
no mls qos channel-consistency
!
module provision switch 1
slot 1 slot-type 147 port-type 61 number 48 virtual-slot 17
slot 3 slot-type 156 port-type 31 number 24 virtual-slot 19
slot 5 slot-type 254 port-type 31 number 2 port-type 61 number 1 port-type 60 number 2 virtual-slot 21
slot 7 slot-type 284 port-type 60 number 16 virtual-slot 23
slot 9 slot-type 227 port-type 60 number 8 virtual-slot 25
!
module provision switch 2
slot 3 slot-type 156 port-type 31 number 24 virtual-slot 35
slot 4 slot-type 147 port-type 61 number 48 virtual-slot 36
slot 5 slot-type 254 port-type 31 number 2 port-type 61 number 1 port-type 60 number 2 virtual-slot 37
!
switch virtual domain 77
switch mode virtual
switch 1 priority 200
switch 2 priority 150
mac-address use-virtual
!
MSK-HQ-SC01# sh switch virtual role det
!
Switch Switch Status Preempt Priority Role Session ID
Number Oper(Conf) Oper(Conf) Local Remote
------------------------------------------------------------------
LOCAL 2 UP FALSE(N ) 100(100) ACTIVE 0 0
!
MSK-HQ-SC01#show switch virtual red
My Switch Id = 2
Peer Switch Id = 1
Last switchover reason = active unit removed
Configured Redundancy Mode = sso
Operating Redundancy Mode = sso
!
Switch 2 Slot 5 Processor Information :
-----------------------------------------------
Current Software state = ACTIVE
Uptime in current state = 5 minutes
Image Version = Cisco IOS Software, s72033_rp Software (s72033_rp-ADVENTERPRISEK9_WAN-M), Version 12.2(33)SXI5, RELEASE SOFTWARE (fc2)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2010 by Cisco Systems, Inc.
Compiled Sat 23-Oct-10 01:29 by prod_rel_team
BOOT = sup-bootdisk:s72033-adventerprisek9_wan-mz.122-33.SXI5.bin,1;
Configuration register = 0x2102
Fabric State = ACTIVE
Control Plane State = ACTIVE
!
Peer information is not available because
it is in 'DISABLED' state

Если при разобранном VSS подключить обратно линки, то по прошествии примерно 20 секунд, оба видят установление связи и запасной (вторичный) пытается уйти в перезагрузку.

Feb 28 17:20:32.212: %VSLP-SW2_SP-5-RRP_MSG: Role change from Active to Standby and hence need to reload

Если на запасном был какой-то несохраненный конфиг, созданный во время разорванного VSS, то перезагрузка сразу не происходит, о чем пишется в консоль. На выбор предлагается:
— сохраниться и перезагрузить
— либо принудительно набрать команду из специального режима:
(recovery-mode)#

возможно выбрать перезагрузку соседа (peer)

Feb 28 17:20:32.212: %VSLP-SW2_SP-5-RRP_UNSAVED_CONFIG: Ignoring system reload since there are unsaved configurations.
Please save the relevant configurations
Feb 28 17:20:32.212: %VSLP-SW2_SP-5-RRP_MSG: Use 'redundancy reload shelf' to bring this switch to its preferred STANDBY role
Feb 28 17:20:32.236: %DUAL_ACTIVE-SW2_SP-1-RECOVERY: Dual-active condition detected: Starting recovery-mode, all non-VSL and non-excluded interfaces have been shut down
!
MSK-HQ-SC01(recovery-mode)#redundancy ?
Redundancy exec commands:
config-sync Redundancy config sync commands
force-switchover Force a switchover
reload Redundancy Facility (RF) reload
!
MSK-HQ-SC01(recovery-mode)#redundancy reload ?
peer Reload peer unit
shelf Reload this entire shelf
!
MSK-HQ-SC01(recovery-mode)#redundancy reload shelf ?
shelf id

!
MSK-HQ-SC01(recovery-mode)#redundancy reload shelf
Warning:The standby is not up,continuing may lead to reload of the switch
!
System configuration has been modified. Save? [yes/no]: no
Reload this shelf [confirm]
Feb 28 17:22:17.046: %SYS-SW2_SP-3-LOGGER_FLUSHING: System pausing to ensure console debugging output.
!
Feb 28 17:22:17.046: %RF-SW2_SP-5-RF_RELOAD: Shelf reload. Reason: Admin reload CLI
Feb 28 17:22:17.046: %OIR-SW2_SP-6-CONSOLE: Changing console ownership to switch processor

Если же настройки не менялись, то перезагрузка происходит автоматом.
После перезагрузки основной коммутатор насаждает свой startup-config запасному, никакого merge (слияния) не происходит. В отличие от начального конфигурирования, когда при переводе в режим VSS оба конфига сливаются в один общий файл.

В-общем, шаг влево, шаг вправо – расстрел. В смысле, ошибиться практически невозможно, циска все за нас порешала и предусмотрела, так что смело можете собирать ваши виртуальные коммутаторы, лишь бы аппаратно и программно все карточки и модули поддерживали этот режим. Сломать что-либо крайне сложно 🙂

 

Метки: ,
Опубликовано: Маршрутизаторы и коммутаторы

 

6 комментариев “Развлекаемся с VSS”

comment rss - Trackback

  1. DmitryPavlov:

    Можно вопрос?
    При создании vss в каждой 65 -по одному супервизору должно быть или по два

    • Достаточно одного. Другая тема, что в этом случае не удасться безболезненно заменить сдохший супервизор по той банальной приччине, что VLS приходит на этот супервизор и разваливается, если СУП умирает.
      ЧТобы и этого избежать необходимо по 2 СУПа в каждом шасси, но КМК для большинства деплойментов это барство

  2. DmitryPavlov:

    спасибо!
    но КМК для большинства деплойментов это барство

    А что такое КМК?

  3. fantas1st0:

    Сереж, а когда циска стала поддерживать по 2 супа в каждом для vss? В гайде я вижу токо следующее:
    «currently, a maximum of two Cat6500, each with a single Supervisor Engine can be combined into VSS»

» Оставить комментарий

Вы должны войти чтобы прокомментировать.