Описание Ethernet интерфейсов NetApp (e0M, SP, RLM, BMC, e0x)

Март 3rd, 2014 Рубрики: NetApp

NetApp сетевые интерфейсы e0M RLM e0PПриветствую, уважаемые гости и читатели блога. Первая техническая статья заметка о оборудовании NetApp посвящена описанию сетевых Ethernet интерфейсов. C первого взгляда, на администратора СХД наваливается куча аббревиатур типа e0M, SP, RLM, BMC, e0x и некоторые другие. По началу, можно в этом запутаться. Но чтение мануалов расставляет все на свои места. Постараюсь изложить свое понимание данного вопроса. Итак, в хранилище NetApp есть куча Ethernet интерфейсов, которые можно обнаружить на задней части хранилища (в ссылках можно найти образцы).

Для примера, FAS22хх (HA-пара в одном шасси) имеет в своем составе шесть RJ45 на одном контроллере и шесть RJ45 - на другом, а  FAS32xx и FAS62xx имеет по пять  RJ45 разъемов (без учета слотов расширения PCI).

Именование сетевых интерфейсов NetApp (DataONTAP)

Имена сетевых интерфейсов формируются в зависимости от того являются ли e0m, e0p, e0a, e0b, Netapp, RLMони виртуальными (VLAN, EtherChannel) или физическими. Нас интересуют физические. Физические интерфейсы именуются на основе порядкового номера физического адаптера, а точнее слота, в котором установлен физический адаптер. Перед номером слота указывается буква "e", обозначающая тип порта - Ethernet. После номера слота указывается буква (обычно от a до d), обозначающая номер порта в многопортовой сетевой карте. В целом, правило именования физических интерфейсов выгладит так:

  • e<номер_слота> - если адаптер однопортовый
  • e<номер_слота><буква_порта> если адаптер многопортовый

Кроме того, некоторые СХД NetApp (например серия FAS) содержит дополнительный порт, именующийся e0M, а так же e0P.

Взаимодействие e0a, e0M, e0P и других сетевых интерфейсов в NetApp

Наиболее наглядно взаимодействие интерфейсов описывает иллюстрация, которую я взял из документации и немного доработал для наглядности.

NetApp SP (Service Processor) и другие интерфейсы

 

 

Как видно, на иллюстрации обозначился некий элемент удаленного управления - remote management device. О его функциях и взаимодействии - ниже.

Описание Ethernet портов e<номер_слота><буква_порта>

e0a, e0n, e1 NetAppДанные порты могут использоваться для всего что угодно. Это классический порт, доступный операционной системе DataONTAP. Ничем функционально и/или архитектурно не отличающийся от традиционного порта 1G или 10G Ethetnet-карты подключенной в любую другую операционную систему. Порты поддерживают и VLAN и группировку (EtherChannel) и jumbo frames. Основное назначение портов - передача данных. Кроме передачи данных их можно настраивать на трафик управления. Настройка данных интерфейсов осуществляется с помощью команды ifconfig и стартового скрипта /etc/rc.

Описание Ethernet порта e0M

e0M и RLM Интерфейс e0M (обозначен на задней стороне шасси как e0M, а так же в виде гаечного ключа) по сути подключен во внутренний Ethernet коммутатор. Внутренний свич обеспечивает соединение с 1. собственно, e0M интерфейс, который является классическим Eternet для DataONTAP и 2. устройство удаленного управления (такое как SP или RLM). e0M интерфейс - это классический Ethernet, который классически управляется ifconfig и /etc/rc. e0M использует общее с остальными портами e<номер_слота><буква_порта> "окружение". Под окружением я понимаю таблицу маршрутизации, arp и другие взаимосвязанные сетевые параметры и технологии. Отличия данного интерфейса в том, что скорость его ограничена 100Мбит, не поддерживаются interface groups, VLANs, и jumbo frames. Данный интерфейс по своим ограничениям практически непригоден для использования в качестве интерфейса передачи данных. Документация настоятельно рекомендует использовать его по назначению, то есть для управления хранилищем. (При этом, NFS и др. сетевые протоколы корректно работают через него.) Из всего сказанного можно сделать вывод, что данный интерфейс предназначен 1. для управления контроллером, 2. отделить/изолировать трафик управления от трафика данных. Документация NetApp рекомендует учитывать следующие указания для оптимальной производительности хранилища:

  • e0M и обычные Ethernet интерфейсы не должны быть сконфигурированы в одной подсети.
  • e0M интерфейс не должен использовать подсеть, которая используется для передачи данных. Если нет возможности выполнить данное условие, необходимо выключить e0M и настроить трафик управления через высокоскоростные интерфейсы данных.
  • e0M интерфейс не должен быть настроен на IP адрес, принадлежащей подсети, в которой находится IP адрес шлюза маршрута по умолчанию.
  • IP адрес e0M интерфейса не должен указываться/резолвиться в NIS или DNS для клиентов сети передачи данных.
  • Если интерфейс e0M не используется, он должен быть явно выключен при загрузке (указан в /etc/rc файле в виде  ifconfig e0M down).

Описание удаленного устройства управления (SP, RLM, BMC)

В зависимости от версии хранилища (контроллера?) к внутреннему ethernet коммутатору может быть подключено одно из удаленных устройств/контроллеров  управления SP, RLM или BMC. Данные аббревиатуры расшифровываются как SP - Service ProcessorRLM - Remote LAN Module и BMC - Baseboard Management Controller.

  • Модуль RLM поставляется в моделях 31xx, 6040, и 6080.
  • Модуль BMC поставляется в платформах снятых с поддержки (если не ошибаюсь FAS20хх, 30xx).
  • Модуль SP включен во всех других платформах.

Функционально, данный контроллер является аналогом iLO на серверах HP (только не такой жадный на Advanced лицензии ) ). Отличия/сходства SP, RLM, BMC от e0M следующие:

  • SP, RLM, BMC как и e0M используются для управления устройством и используют для взаимодействия с внешним миром один порт, обозначенный значком гаечного ключа и e0M или RLM
  • e0M интерфейс используется только для задач администрирования ОС Data ONTAP
  • устройство удаленного управления так же может использоваться для задач администрирования ОС Data ONTAP, НО так же имеется функционал доступа к локальной консоли, мониторинга, troubleshooting, управление питанием, управление логами и  предупреждениями/уведомлениями.
  • устройство удаленного управления продолжает функционировать независимо от состояния (включена/выключена) операционной системы Data ONTAP.
  • Набор команд удаленного устройства управления ограничен. Например, Service Processor:
SP netapp-filer> ?
date - print date and time
exit - exit from the SP command line interface
events - print system events and event information
help - print command help
priv - show and set user mode
sp - commands to control the SP
rsa - commands for Remote Support Agent
system - commands to control the system
version - print Service Processor version
  • e0M интерфейс управляется из Data ONTAP, SP, RLM, BMC так же может конфигурироваться через Data ONTAP, но так же имеет свои инструменты для настройки.
  • для авторизации удаленный интерфейс использует учетную запись naroot с паролем от root в Data ONTAP или пользователи, созданные в Data ONTAP с разрешениями роли admin или другой роли с  login-sp capability
  • SP и RLM использует изолированную сетевую среду, независимо от сетевой среды Data ONTAP.
  • Для контакта с AutoSupport SP и RLM может использовать только SMTP протокол
  • SP, RLM, BMC поддерживают управление только по SSH, либо через локальную консоль. e0M поддерживает все доступные протоколы Telnet, SSH, RSH, HTTP/HTTPS.

Управление SP из Data ONTAP производится с помощью команд system node service-processor. Настройка RLM из Data ONTAP производится с помощью команд rlm setup.

Из всего описанного можно сделать вывод, что ключевое отличие SP, RLM, BMC от e0M заключается в том, что e0M используется только для администрирования DataONTAP, а SP, RLM, BMC используется для управления контроллера (по аналогии с iLo).

Другие сетевые и несетевые RJ45 порты NetApp 

Кроме рассмотренных SP, RLM, BMC, e0M в NetApp существуют так же порты, которые внешне выглядят как RJ45. Это порты, обозначенные IOIOI и e0P (гаечный ключ с замком). Порт IOIOI - это классический консольный последовательный (COM) порт, используемый для доступа к локальной консоли и к SP через локальную консоль. Порт e0P - это порт используемый для ACP (Alternate Control Path). ACP - это протокол используемый в Data ONTAP для управления и мониторинга дисковыми полками SAS. Данный порт использует полностью изолированную сетевую среду и не нуждается в какой-либо настройке, достаточно просто поднять сетевой интерфейс и обеспечить правильное каблирование. Data ONTAP автоматически мониторит наличие дисковых полок и соответственно настраивает e0P.

Резюме

В статье о сетевых интерфейсах NetApp я постарался описать ключевые различия между интерфейсами управления и в общих чертах описал функционал сетевых интерфейсов для передачи данных. Возможно, кто-то из читателей добавит какие-то уточнения - буду благодарен.

Ссылки

http://blog.aboutnetapp.ru/archives/689 - NetApp: вид сзади
https://library.netapp.com/ecmdocs/ECMP1155684/html/frameset.html - Data ONTAP System Administration Guide
https://library.netapp.com/ecmdocs/ECMP1155586/html/frameset.html - Data ONTAP Network Management Guide

С Уважением, Mc.Sim!




Теги: ,
Комментариев пока нет.

Написать комментарий