Как я учился на NetApp D7ADM в FastLane
Приветствую, уважаемые гости и читатели. В связи со служебной необходимостью пришлось работать с оборудованием NetApp и погрузиться в понимание технологии. Поэтому в моем блоге появилась новая рубрика – NetApp, в которой я постараюсь аккумулировать свои знания по Data ONTAP (надеюсь, что появится некоторое количество технических статей)) ). Намедни мне довелось посетить замечательные курсы по оборудованию NetApp. Курсы проходили в Москве в учебном центре FastLane. Данный пост я хочу посвятить прошедшему курсу. Итак, определенно могу сказать, что таки да, перед данным курсом стоит посмотреть бесплатные материалы нетапа, размещенные в соответствующем разделе сайта (http://learningcenter.netapp.com/content/public/production/learning_maps/customer/lm_customer_t1.html). Многое прояснится, меньше вопросов будет преподавателю и больше “правильных” вопросов. Соответственно, более продуктивно можно потратить имеющееся время на предоставленный материал.
В обзоре я постараюсь без обозначения личностей, дабы соблюсти этичную сторону вопроса … Начну с положительных сторон. Тренер, проводивший курс (далее обозначим его А.П.) обладал замечательной дикцией и громкостью голоса. Определенно, при чтении курса уснуть не удастся. Спасибо большое тренеру за предоставленный дополнительный материал в электронном виде.Оборудование рабочих станций было вполне производительным для выполняемых задач. Но это организационные вопросы. Приступим к описанию того, что происходило в классе…
Думаю, что каждый знает о блоге aboutnetapp, там есть статья, описывающая вопросы обучения Netapp. Хотя, комментаторы и высказывают положительные отзывы об обучении в FastLane, но в моем случае такое утверждение сделать не получится. В целом, от прохождения курса впечатления довольно неоднозначны, я бы даже сказал отрицательные, нежели положительные. Началось все с того, что на курсе отсутствовало оборудование NetApp как таковое. Я понимаю, что “там нечего смотреть” (с), понимаю, что оно все одинаковое, но это ж курс начального уровня.. В нашей группе было 6 человек и все 6 желали посмотреть на железяку, т.к. у всех железо уже закуплено, но еще лежит в коробке. Преподаватель организовать показ не смог. ( Все лабы проходили на виртуальном удаленном стенде. Далее, знания тренера были мягко скажем неглубокими, только строго “по методичке”, в некоторых вопросах, даже уже методички. Было заметно, что курс читается второй или даже первый раз.
Чтобы не быть голословным, могу сказать, что многие моменты остались недопонятыми. Например, А.П. так и не смог доходчиво объяснить логику работы хранилища с Flash Cache и NVRAM. Было сказано, что при работе DataONTAP консистентная точка создается при определенном событии (заполнение нврам, кэша и др.) при этом, данные пишутся в кэш и нврам одновременно. Так же было сказано, что NVRAM это память для хранения логов, после уточнения оказалось, что эта память не только для логов, но и для данных. В общем, толком рассказать о отличиях кэша и нврам неполучилось, или я недопонял. Где все же хранятся данные, где все же хранятся логи? При этом не сказано, что эта память питается от батареи, что ИМХО важно, т.к. батарея не бесконечна по емкости… Остался неясен момент, что произойдет с данными при отключении питания в момент создания консистентной точки. Понимание принципов лицензирования модулей DataONTAP так же рассказано очень расплывчато в разрезе модельного ряда NetApp. Упущен ключевой момент, что чем младше железка, тем больше модулей поставляется в комплекте. Количество spare дисков в агрегате/рейд группе тоже толком не обозначено, хотя как я потом узнал, за это отвечает параметр options raid.min_spare_count 1
. Ограничения симулятора DataONTAP так же не озвучено и отличие его от DaTaONTAP eage умолчалось. Так же, А.П. утверждал, что FCoE таки есть на FAS2240, хотя как выяснилось ранее…, а так же “Работу по FCoE поддерживает все продающееся сейчас оборудование, которое имеет слоты расширения” (пруф: http://habrahabr.ru/company/netapp/blog/92743/). Команда ifconfig как и в любом unix назначает IP только до перезагрузки (чтобы после перезагрузки конфигурация подцепилась, необходимо прописать в /etc/rc ). Хотя А.П. утверждал обратное. Было так же много других неясностей, которые уже и не вспомнить и приходится своими силами искать ответы.
В общем, как-то так. Немного негативный отзыв получился, но он выражает мою оценку курса. Следующий на подходе Accelerated NCDA Boot Camp Data ONTAP 7-Mode (ANCDABC87). Там будет другой тренер и по нему тоже постараюсь описать впечатления. Спасибо за внимание )
С Уважением, Mc.Sim!
Спасибо за отзыв, интересно. Сам-то я далеко, да и учился давно и не в России, было интересно узнать как оно нынче в России обучают (как всегда значит ;-/ )
Попробую ответить на некоторые из вопросов.
> Остался неясен момент, что произойдет с данными при отключении питания в момент создания консистентной точки.
Consistency point записывается атомарной операцией. Она или записана целиком, или не записана целиком. Если в момент сброса CP на диски происходит сбой, то отметка “записано успешно” в конце операции сброса для данной CP не успевает поставиться, и она считается незаписанной. Тогда при следующем старте система просматривает содержимое NVRAM, находит последнюю CP и данные с ней связанные, и просто еще раз повторяет эту операцию. Данные хранятся в NVRAM на батарейном питании. Питания хватает на несколько дней паспортно, и порой до недели. Так что теоретически NetApp можно выключать “рубильником”, если известно, что включить его назад удастся ранее, чем через несколько дней.
Вообще хорошее и понятное описание всего этого процесса есть в TR-3002
Он также в переводе доступен сами знаете где
> Так же было сказано, что NVRAM это память для хранения логов, после уточнения оказалось, что эта память не только для логов, но и для данных.
Тут скажу так: у меня так и нет абсолютно кристалльно ясного понимания того, как это работает _для блочного доступа_. Для файлового там в общем все понятно (снова см. TR-3002), туда пишутся _операции_ NFS (н и CIFS соответственно). “Операции” это не совсем равно “данные”, с учетом того, что многие операции операирую сразу большими объемами этих данных.
К сожалению у меня, повторюсь, нет глубокого понимания того, как NVRAM работает с блочными данными, эта информация как-то не особенно раскрыта, так как WAFL никогда не была открытой OS, и многие ее детали никогда не публиковались, и со времен TR-3002 она прошла довольно длинный путь развития (а переход к unified architecture в 2005 году это очень серьезное изменение общей внутренней архтектуры системы). Старики говорят, что эти веши рассказывают на сильно продвинутом курсе или на технических партнерских тренингах. В общем хорошо, что вы спросили, видимо пора и вправду эту тему еще раз поднять и расспросить мои источники.
> Началось все с того, что на курсе отсутствовало оборудование NetApp как таковое.
Я в меру своих слабых сил долбаю дистрибуторов, чтобы они нащли возможность выдать учебным центрам физическое железо (проблем никаких нет, у них там есть кучи устаревших и уже никуда не годных кроме как на учебу старых контроллеров из демопулов, типа там всяких FAS3040 и 2020). Так что они просто засранцы, вот и все
> логику работы хранилища с Flash Cache и NVRAM.
Логика там в принципе очен простая, Flash Cache это просто структура логически находящаяся между RAM (памятью, кэшем, НЕ NVRAM) и дисками. Так как он работает только на кэширование чтения, тоалгоритмически логика там очень простая, все что читается с дисков попадает в Flash Cache, а потом в RAM. Затем, при повторном чтении хостом блока, если он есть в RAM – читаем из RAM, если нет в RAM, проверяем Flash Cache. Есть – читаем из него, нет – идем медленно и печально на винты.
Эта схема с картинками есть в документе TR-3832, русский перевод его также есть там где всегда.
Так как NVRAM работает только с _записываемыми_ данными, то с Flash Cache он никак не соприкасается и не соотносится.
А вот как все работает с Flash Pool, который Hybrid Aggregate из HDD+SSD, и поэтому работает и на запись тоже – вот это было бы интересно даже и мне
> Количество spare дисков в агрегате/рейд группе тоже толком не обозначено, хотя как я потом узнал, за это отвечает параметр options raid.min_spare_count
Тоже полезный документ – TR-3437 Storage Resiliency Guide. Перевод также есть. Там эта тема хорошо и подробно рассмотрена.
> Ограничения симулятора DataONTAP так же не озвучено и отличие его от DaTaONTAP eage умолчалось.
Строго говоря разница там в том, что Simulator имеет захардкоженное ограничение (по емкости дисковых “устройств” и по производительности, а Edge – нет.
Ну плюс сам Edge несколько потвикан, и поэтому имеет более строгие требования к железу, а Simulator, так как желательно было чтобы он работал на максимально широком выборе гипервизоров и физического железа, поэтому он более щадящ к выбору платформы.
> FCoE таки есть на FAS2240,
Про FCoE это моя ошибка. Причина в том, что в какой-то момент было приняо политическое решение не давать FCoE на 22xx серии просто чтобы сегментировать рынок.
По той же причине на 10G mezzanine card сейчас не поддерживается DCE (“lossless ethernet”), а он обязателен для FCoE.
Не исключено, что в будущем это вновь разрешаь, как разрешили в какой-то момент поддержку mezzanine card на 2220, которого изначально не было.
> Команда ifconfig как и в любом unix назначает IP только до перезагрузки
Это меняют то туда, то сюда
> и приходится своими силами искать ответы.
Велкам ту зе клаб, то бишь на форум на https://communities.netapp.com/groups/netapp-ru
\
Класс, спасибо за дополнения.
На подходе отчет о ANCDABC87 (http://www.flane.ru/course/na-ancdabc87), который, кстати проходит на пятерку )
Маленькая ложка мёда для фастлейна и тренера:
Мой коллега, который ехал на D7ADM следом за мной очень доволен курсом
Видимо что-то поменялось….
Добрый вечер, Максим.
Прочел ваш отзыв про нетапп. Сам вот иду к ним через пару недель учится.
“Спасибо большое тренеру за предоставленный дополнительный материал в электронном виде.”
Это презентация или запись видео или что то иное?
Мне просто потом своим же коллегам рассказывать что там услышал вот и думаю диктофон тащить или не стоит:)
Думаю, что тащить диктофон смысла не имеет… Там предоставляют 2 книжки: 1. с теоретическим материалом 2. практическими упражнениями.
По своему опыту знаю, что посетив какое-то обучение, передать коллегам полученные знания в полном объеме – нереально…
Какие-то шаги рассказать – да. Это только помогает лучше повторить и усвоить материал.
Все сказанное касается не только NetApp, это я в общем о посещении курсов.
Важный совет: если коллеги хотят бесплатно разобраться с Netapp, то тут (http://learningcenter.netapp.com/content/public/production/learning_maps/customer/lm_customer_t1.html) можно ознакомиться с ~70% данного курса самостоятельно )
Да уж дали 3 книжки , две по теории 1 по упражнениям
Но информации все равно мало, ссылки есть зато на продвинутые курсы по SAN и NAS.
Тренер кстати ведет тот же что и у вас был.
Вижу, что тоже не в восторге?.. )
Ну да, не особо, причем если первые дни все было очень хорошо, много информации, то с каждым следующем днем (сейчас 4ый) ее становится все меньше, а темы все важнее.
1. Подскажите сайт с переводами TR-, о котором так ненавязчиво рассказывал romx.
2. Free4ert. Похоже одна и таже проблема на всех курсах все самое важное оставляют на последний день обучения и несутся как угорелые в итоге … глатая главы, тренинги и важную инфу … К примеру был на курсах по VMware так у нас на 5-ый день выдались самые интерестные темы про кластеризации и управлению кластреами и их типами, обновление хостов и т. д. … в итоге все пришлось познавать потом самому.
1. http://www.netwell.ru/production/techbiblioteka.php
2. да, часто такое встречается. ))
У нас Алмату тоже приезжал Антон П-к, хороший тренер. Записи диктофона хорошо получились. Хороший тренер старается, понимает о чем говорит, но тема просто сложная, все в голове не укладывается, тем более если человек только сталкивается с СХД.
Я даже больше могу сказать, что Антон в целом хороший тренер. Но не по СХД.
Например, Cisco у него ну очень хорошо идет.