Network File System (NFS) на Linux

24 октября, 2011 Рубрики: Linux, NFS, Настройка сервера Linux, Сети

Network File System LinuxДоброго времени, читатели и гости моего блога. Очень большой перерыв между постами был, но я снова в бою ). В сегодняшней статье рассмотрю работу протокола NFS, а так же настройку сервера NFS и клиента NFS на Linux.

Введение в NFS

NFS (Network File Systemсетевая файловая система) по моему мнению – идеальное решение в локальной сети, где необходим быстрый (более быстрый по сравнению с SAMBA и менее ресурсоемкий по сравнению с удаленными файловыми системами с шифрованием – sshfs, SFTP, etc…) обмен данными и во главе угла не стоит безопасность передаваемой информации. Протокол NFS позволяет монтировать удалённые файловые системы через сеть в локальное дерево каталогов, как если бы это была примонтирована дисковая файловая система. Тем самым локальные приложения могут работать с удаленной файловой системой, как с локальной. Но нужно быть осторожным (!) с настройкой NFS, ибо при определенной конфигурации можно подвесить операционную систему клиента в ожидании бесконечного ввода/вывода. Протокол NFS основан на работе протокола RPC, который пока не поддается моему пониманию )) поэтому материал в статье будет немного расплывчат… Прежде, чем Вы сможете использовать NFS, будь это сервер или клиент, Вы должны удостовериться, что Ваше ядро имеет поддержку файловой системы NFS. Проверить поддерживает ли ядро файловую систему NFS можно, просмотрев наличие соответствующих строк в файле /proc/filesystems:

ARCHIV ~ # grep nfs /proc/filesystems
nodev nfs
nodev nfs4
nodev nfsd

Если указанных строк в файле /proc/filesystems не окажется, то необходимо установить описанные ниже пакеты. Это скорее всего позволит установить зависимые модули ядра для поддержки нужных файловых систем. Если после установки пакетов, поддержка NFS не будет отображена в указанном файле, то необходимо будет перекомпилировать ядро, с включением данной функции.

История Network File System

Протокол NFS разработан компанией Sun Microsystems и имеет в своей истории 4 версии. NFSv1 была разработана в 1989 и являлась экспериментальной, работала на протоколе UDP. Версия 1 описана в RFC 1094. NFSv2 была выпущена в том же 1989 г., описывалась тем же RFC1094 и так же базировалась на протоколе UDP, при этом позволяла читать не более 2Гб из файла. NFSv3 доработана в 1995 г. и описана в RFC 1813. Основными нововведениями третьей версии стало поддержка файлов большого размера, добавлена поддержка протокола TCP и TCP-пакетов большого размера, что существенно ускорило работоспосбоность технологии. NFSv4 доработана в 2000 г. и описана в RFC 3010, в 2003 г. пересмотрена и описана в RFC 3530. Четвертая версия включила в себя улучшение производительности, поддержку различных средств аутентификации (в частности, Kerberos и LIPKEY с использованием протокола RPCSEC GSS) и списков контроля доступа (как POSIX, так и Windows-типов). NFS версии v4.1 была одобрена IESG в 2010 г., и получила номер RFC 5661. Важным нововведением версии 4.1, является спецификация pNFS — Parallel NFS, механизма параллельного доступа NFS-клиента к данным множества распределенных NFS-серверов. Наличие такого механизма в стандарте сетевой файловой системы поможет строить распределённые «облачные» («cloud») хранилища и информационные системы.

NFS сервер

Так как у нас NFS – это сетевая файловая система, то необходимо настроить сеть в Linux. (Так же можно почитать статью основные понятия сетей). Далее необходимо установить соответствующий пакет. В Debian это пакет nfs-kernel-server и nfs-common, в RedHat это пакет nfs-utils. А так же, необходимо разрешить запуск демона на необходимых уровнях выполнения ОС (команда в RedHat – /sbin/chkconfig nfs on, в Debian – /usr/sbin/update-rc.d nfs-kernel-server defaults).

Установленные пакеты в Debian запускается в следующем порядке:

ARCHIV ~ # ls -la /etc/rc2.d/ | grep nfs
lrwxrwxrwx  1 root root   20 Окт 18 15:02 S15nfs-common -> ../init.d/nfs-common
lrwxrwxrwx  1 root root   27 Окт 22 01:23 S16nfs-kernel-server -> ../init.d/nfs-kernel-server

То есть, сначала запускается nfs-common, затем сам сервер nfs-kernel-server. В RedHat ситуация аналогичная, за тем лишь исключением, что первый скрипт называется nfslock, а сервер называется просто nfs. Про nfs-common нам сайт debian дословно говорит следующее: общие файлы для клиента и сервера NFS, этот пакет нужно устанавливать на машину, которая будет работать в качестве клиента или сервера NFS. В пакет включены программы: lockd, statd, showmount, nfsstat, gssd и idmapd. Просмотрев содержимое скрипта запуска /etc/init.d/nfs-common можно отследить следующую последовательность работы: скрипт проверяет наличие исполняемого бинарного файла /sbin/rpc.statd, проверяет наличие в файлах /etc/default/nfs-common, /etc/fstab и /etc/exports параметров, требующих запуск демонов idmapd и gssd, запускает демона  /sbin/rpc.statd, далее перед запуском /usr/sbin/rpc.idmapd и /usr/sbin/rpc.gssd проверяет наличие этих исполняемых бинарных файлов, далее для демона /usr/sbin/rpc.idmapd проверяет наличие модулей ядра sunrpc, nfs и nfsd, а так же поддержку файловой системы rpc_pipefs в ядре (то есть наличие ее в файле /proc/filesystems), если все удачно, то запускает /usr/sbin/rpc.idmapd. Дополнительно, для демона /usr/sbin/rpc.gssd проверяет модуль ядра rpcsec_gss_krb5 и запускает демон.

Если просмотреть содержимое скрипта запуска NFS-сервера на Debian (/etc/init.d/nfs-kernel-server), то можно проследить следующую последовательность: при старте, скрипт проверяет существование файла /etc/exports, наличие модуля ядра nfsd, наличие поддержки файловой системы NFS в ядре Linux (то есть в файле /proc/filesystems), если все на месте, то запускается демон /usr/sbin/rpc.nfsd, далее проверяет задан ли параметр NEED_SVCGSSD (задается в файле настроек сервера /etc/default/nfs-kernel-server ) и, если задан – запускает демона /usr/sbin/rpc.svcgssd, последним запускает демона /usr/sbin/rpc.mountd. Из данного скрипта видно, что работа сервера NFS состоит из демонов rpc.nfsd, rpc.mountd и если используется Kerberos-аутентификация, то и демон rcp.svcgssd. В краснойшляпе еще запускается демон rpc.rquotad и nfslogd (В Debian я почему-то не нашел информации об этом демоне и о причинах его отсутствия, видимо удален…).

Из этого становиться понятно, что сервер Network File System состоит из следующих процессов (читай – демонов), расположенных в каталогах /sbin и /usr/sbin :

  • rpc.statd – Демон наблюдения за сетевым состоянием (он же Network Status Monitor, он же NSM). Он позволяет корректно отменять блокировку после сбоя/перезагрузки. Для уведомления о сбое использует программу /usr/sbin/sm-notify. Демон statd работает как на серверах, так и на клиентах.  Ранее данный сервер был необходим для работы rpc.lockd, но за блокировки сейчас отвечает ядро (прим: если я не ошибаюсь :) ). (RPC программа 100021 и 100024 – в новых версиях)
  • rpc.lockd – Демон блокировки lockd (он же NFS lock manager (NLM)) обрабатывает запросы на блокировку файлов. Демон блокировки работает как на серверах, так и на клиентах. Клиенты запрашивают блокировку файлов, а серверы ее разрешают. (устарел и в новых дистрибутивах не используется как демон. Его функции в современных дистрибутивах (с ядром старше 2.2.18) выполняются ядром, точнее модулем ядра (lockd). ) (RPC программа 100024)
  • rpc.nfsd – Основной демон сервера NFS – nfsd (в новых версиях иногда называется nfsd4). Этот демон обслуживает запросы клиентов NFS. Параметр RPCNFSDCOUNT в файле /etc/default/nfs-kernel-server в Debian и NFSDCOUNT в файле /etc/sysconfig/nfs в RedHat определяет число запускаемых демонов (по-умолчанию – 8).(RPC программа 100003)
  • rpc.mountd – Демон монтирования NFS mountd обрабатывает запросы клиентов на монтирование каталогов. Демон mountd работает на серверах NFS. (RPC программа 100005)
  • rpc.idmapd – Демон idmapd для NFSv4 на сервере преобразует локальные uid/gid пользователей в формат вида имя@домен, а сервис на клиенте преобразует имена пользователей/групп вида имя@домен в локальные идентификаторы пользователя и группы (согласно конфигурационному файлу /etc/idmapd.conf, подробней в man idmapd.conf):.
  • дополнительно, в старых версиях NFS использовались демоны: nfslogd – демон журналов NFS фиксирует активность для экспортированных файловых систем, работает на серверах NFS и rquotad – сервер удаленных квот  предоставляет информацию о квотах пользователей в удаленных файловых системах, может работать как на серверах, так и на клиентах.(RPC программа 100011)

В NFSv4 при использовании Kerberos дополнительно запускаются демоны:

  • rpc.gssd – Демон NFSv4 обеспечивает методы аутентификации через GSS-API (Kerberos-аутентификация). Работает на клиенте и сервере.
  • rpc.svcgssd – Демон сервера NFSv4, который обеспечивает проверку подлинности клиента на стороне сервера.

portmap и протокол RPC (Sun RPC)

Кроме указанных выше пакетов, для корректной работы NFSv2 и v3 требуется дополнительный пакет portmap (в более новых дистрибутивах заменен на переименован в rpcbind). Данный пакет обычно устанавливается автоматически с NFS как зависимый и реализует работу сервера RPС, то есть отвечает за динамическое назначение портов для  некоторых служб, зарегистрированных в RPC сервере. Дословно, согласно документации — это сервер, который преобразует номера программ RPC (Remote Procedure Call) в номера портов TCP/UDP. portmap оперирует несколькими сущностями: RPC-вызовами или запросами, TCP/UDP портами, версией протокола (tcp или udp), номерами программ и версиями программ. Демон portmap  запускается скриптом /etc/init.d/portmap до старта NFS-сервисов.

Коротко говоря, работа сервера RPC (Remote Procedure Call) заключается в обработке RPC-вызовов (т.н. RPC-процедур) от локальных и удаленных процессов. Используя RPC-вызовы, сервисы регистрируют или удаляют себя в/из преобразователя портов (он же отображатель портов, он же portmap, он же portmapper, он же, в новых версиях, rpcbind), а клиенты с помощью RPC-вызовов направляя запросы к portmapper получают необходимую информацию. Юзер-френдли названия сервисов программ и соответствующие им номера определены в файле /etc/rpc. Как только какой-либо сервис отправил соответствующий запрос и зарегистрировал себя на сервере RPC в отображателе портов, RPC-сервер присваивает сопоставляет сервису TCP и UDP порты на которых запустился сервис и хранит в себе ядре соответствующую информацию о работающем сервисе (о имени), уникальном номере сервиса (в соответствии с /etc/rpc) , о протоколе и порте на котором работает сервис и о версии сервиса и предоставляет указанную информацию клиентам по запросу. Сам преобразователь портов имеет номер программы (100000), номер версии – 2, TCP порт 111 и UDP порт 111. Выше, при указании состава демонов сервера NFS я указал основные RPC номера программ. Я, наверно, немного запутал Вас данным абзацем, поэтому произнесу основную фразу, которая должна внести ясность: основная функция отображателя портов заключается в том, чтобы по запросу клиента, который предоставил номер RPC-программы (или RPC-номер программы) и версию, вернуть ему (клиенту) порт, на котором работает запрошенная программа. Соответственно, если клиенту нужно обратиться к RPC с конкретным номером программы, он сначала должен войти в контакт с процессом portmap на серверной машине и определить номер порта связи с необходимым ему сервисом RPC.

Работу RPC-сервера можно представить следующими шагами:

  1. Преобразователь портов должен стартовать первым, обычно при загрузке системы. При этом создается конечная точка TCP и осуществляется открытие TCP порта 111. Также создается конечная точка UDP, которая находится в ожидании, когда на UDP порт 111 прибудет UDP датаграмма.
  2. При старте программа, работающая через сервер RPC создает конечную точку TCP и конечную точку UDP для каждой поддерживаемой версии программы. (Сервер RPC может поддерживать несколько версий. Клиент указывает требуемую версию при посылке RPC-вызова.) Динамически назначаемый номер порта закрепляется за каждой версией сервиса. Сервер регистрирует каждую программу, версию, протокол и номер порта, осуществляя соответствуюoий RPC-вызов.
  3. Когда программе клиента RPC необходимо получить необходимую информацию, она вызывает вызов процедуру преобразователя портов, чтобы получить динамически назначаемый номер порта для заданной программы, версии и протокола.
  4. В ответ на этот запрос север возвращает номер порта.
  5. Клиент отправляет сообщение RPC-запрос на номер порта, полученный в пункте 4. Если используется UDP, клиент просто посылает UDP датаграмму, содержащую сообщение RPC-вызова , на номер UDP порта, на котором работает запрошенный сервис. В ответ сервис отправляет UDP датаграмму, содержащую сообщение RPC отклика. Если используется TCP, клиент осуществляет активное открытие на номер TCP порта требуемого сервиса и затем посылает сообщение вызова RPC по установленному соединению. Сервер отвечает сообщением отклика RPC по соединению.

Для получения информации от RPC-сервера используется утилита rpcinfo. При указании параметров -p host программа выводит список всех зарегистрированных RPC программ на хосте host. Без указания хоста программа выведет сервисы на localhost. Пример:

ARCHIV ~ # rpcinfo -p
   прог-ма верс прото   порт
    100000    2   tcp    111  portmapper
    100000    2   udp    111  portmapper
    100024    1   udp  59451  status
    100024    1   tcp  60872  status
    100021    1   udp  44310  nlockmgr
    100021    3   udp  44310  nlockmgr
    100021    4   udp  44310  nlockmgr
    100021    1   tcp  44851  nlockmgr
    100021    3   tcp  44851  nlockmgr
    100021    4   tcp  44851  nlockmgr
    100003    2   tcp   2049  nfs
    100003    3   tcp   2049  nfs
    100003    4   tcp   2049  nfs
    100003    2   udp   2049  nfs
    100003    3   udp   2049  nfs
    100003    4   udp   2049  nfs
    100005    1   udp  51306  mountd
    100005    1   tcp  41405  mountd
    100005    2   udp  51306  mountd
    100005    2   tcp  41405  mountd
    100005    3   udp  51306  mountd
    100005    3   tcp  41405  mountd

Как видно, rpcinfo отображает (в столбиках слева направо) номер зарегистрированной программы, версию, протокол, порт и название. С помощью rpcinfo можно удалить регистрацию программы или получить информацию об отдельном сервисе RPC (больше опций в man rpcinfo). Как видно, зарегистрированы демоны portmapper версии 2 на udp и tcp портах, rpc.statd версии 1 на udp и tcp портах, NFS lock manager версий 1,3,4, демон nfs сервера версии 2,3,4,  а так же демон монтирования версий 1,2,3.

NFS сервер (точнее демон rpc.nfsd) получает запросы от клиента в виде UDP датаграмм на порт 2049. Несмотря на то, что NFS работает с преобразователем портов, что позволяет серверу использовать динамически назначаемые порты, UDP порт 2049 жестко закреплен за NFS в большинстве реализаций.

Работа протокола Network File System

Монтирование удаленной NFS

Процесс монтирования удаленной файловой системы NFS можно представить следующей схемой:

процесс монтирования NFS каталога

Описание протокола NFS при монтировании удаленного каталога:

  1. На сервере и клиенте запускается RPC сервер (обычно при загрузке), обслуживанием которого занимается процесс portmapper и регистрируется на порту tcp/111 и udp/111.
  2. Запускаются сервисы (rpc.nfsd,rpc.statd и др.), которые регистрируются на RPC сервере и регистрируются на произвольных сетевых портах (если в настройках сервиса не задан статичный порт).
  3. команда mount на компьютере клиента отправляет ядру запрос на монтирование сетевого каталога с указанием типа файловой системы, хоста и собственно – каталога, ядро отправляет формирует RPC-запрос процессу portmap на NFS сервере на порт udp/111 (если на клиенте не задана опция работать через tcp)
  4. Ядро сервера NFS опрашивает RPC о наличии демона rpc.mountd и возвращает ядру клиента сетевой порт, на котором работает демон.
  5. mount отправляет RPC запрос на порт, на котором работает rpc.mountd. Теперь NFS сервер может проверить достоверность клиента основываясь на его IP адресе и номере порта, чтобы убедиться, можно ли этому клиенту смонтировать указанную файловую систему.
  6. Демон монтирования возвращает описание запрошенной файловой системы.
  7. Команда mount клиента выдает системный вызов mount, чтобы связать описатель файла, полученный в шаге 5, с локальной точкой монтирования на хосте клиента. Описатель файла хранится в коде NFS клиента, и с этого момента любое обращение пользовательских процессов к файлам на файловой системе сервера будет использовать описатель файла как стартовую точку.

Обмен данными между клиентом и сервером NFS

Типичный доступ к удаленной файловой системе можно описать следующей схемой:

Обращение к файлу, расположенному на сервере NFS

Описание процесса обращения к файлу, расположенному на сервере NFS:

  1. Клиенту (пользовательскому процессу) безразлично, получает ли он доступ к локальному файлу или к NFS файлу. Ядро занимается взаимодействием с железом через модули ядра или встроенные системные вызовы.
  2. Модуль ядра kernel/fs/nfs/nfs.ko, который выполняет функции NFS клиента отправляет RPC запросы NFS серверу через модуль TCP/IP. NFS обычно использует UDP, однако более новые реализации могут использовать TCP.
  3. NFS сервер получает запросы от клиента в виде UDP датаграмм на порт 2049. Несмотря на то, что NFS может работать с преобразователем портов, что позволяет серверу использовать динамически назначаемые порты, UDP порт 2049 жестко закреплен за NFS в большинстве реализаций.
  4. Когда NFS сервер получает запрос от клиента, он передаётся локальной подпрограмме доступа к файлу, которая обеспечивает доступ к локальному диску на сервере.
  5. Результат обращения  диску возвращается клиенту.

Настройка сервера NFS

Настройка сервера в целом заключается в задании локальных каталогов, разрешенных для монтирования удаленными системами в файле /etc/exports. Это действие называется экспорт иерархии каталогов. Основными источниками информации об экспортированных каталогах служат следующие файлы:

  • /etc/exports – основной конфигурационный файл, хранящий в себе конфигурацию экспортированных каталогов. Используется при запуске NFS и утилитой exportfs.
  • /var/lib/nfs/xtab – содержит список каталогов, монтированных удаленными клиентами. Используется демоном rpc.mountd, когда клиент пытается смонтировать иерархию (создается запись о монтировании).
  • /var/lib/nfs/etab – список каталогов, которые могут быть смонтированы удаленными системами с указанием всех параметров экспортированных каталогов.
  • /var/lib/nfs/rmtab – список каталогов, которые не разэкспортированы в данный момент.
  • /proc/fs/nfsd – специальная файловая система (ядро 2.6) для управления NFS сервером.
    • exports – список активных экспортированных иерархий и клиентов, которым их экспортировали, а также параметры. Ядро получает данную информацию из /var/lib/nfs/xtab.
    • threads – содержит число потоков (также можно изменять)
    • с помощью filehandle можно получить указатель на файл
    • и др…
  • /proc/net/rpc – содержит “сырую” (raw) статистику, которую можно получить с помощью nfsstat, а также различные кеши.
  • /var/run/portmap_mapping – информация о зарегистрированных в RPC сервисах

Прим: вообще, в интернете куча трактовок и формулировок назначения файлов xtab, etab, rmtab, кому верить – не знаю :) Даже на http://nfs.sourceforge.net/ трактовка не однозначна.

Настройка файла /etc/exports

В простейшем случае, файл /etc/exports является единственным файлом, требующим редактирования для настройки NFS-сервера.  Данный файл управляет следующими аспектами:

  • Какие клиенты могут обращаться к файлам на сервере
  • К каким иерархиям каталогов на сервере может обращаться каждый клиент
  • Как пользовательские имена клиентов будут отображаться на локальные имена пользователей

Каждая строка файла exports имеет следующий формат:

точка_экспорта клиент1(опции) [клиент2(опции)  …]

, где точка_экспорта абсолютный путь экспортируемой иерархии каталогов, клиент1 – n имя одного или более клиентов или IP-адресов, разделенные пробелами, которым разрешено монтировать точку_экспорта. Опции описывают правила монтирования для клиента, указанного перед опциями.

Вот типичный пример конфигурации файла exports:

ARCHIV ~ # cat /etc/exports
/archiv1        files(rw,sync) 10.0.0.1(ro,sync) 10.0.230.1/24(ro,sync)

В данном примере компьютерам files и 10.0.0.1 разрешен доступ к точке экспорта /archiv1, при этом, хосту files на чтение/запись, а для хоста 10.0.0.1 и подсети 10.0.230.1/24 доступ только на чтение.

Описания хостов в /etc/exports допускается в следующем формате:

  • Имена отдельных узлов описываются, как files или files.DOMAIN.local.
  • Описание маски доменов производится в следующем формате: *DOMAIN.local включает все узлы домена DOMAIN.local.
  • Подсети задаются в виде пар адрес IP/маска. Например: 10.0.0.0/255.255.255.0 включает все узлы, адреса которых начинаются с 10.0.0.
  • Задание имени сетевой группы @myclients имеющей доступ к ресурсу (при использовании сервера NIS)

Общие опции экспорта иерархий каталогов

В файле exports используются следующие общие опции (сначала указаны опции применяемые по-умолчанию в большинстве систем, в скобках – не по-умолчанию):

  • auth_nlm (no_auth_nlm) или secure_locks (insecure_locks) – указывает, что сервер должен требовать аутентификацию запросов на блокировку (с помощью протокола NFS Lock Manager (диспетчер блокировок NFS)).
  • nohide (hide) – если сервер экспортирует две иерархии каталогов, при этом одна вложенна (примонтированна) в другую. Клиенту необходимо явно смонтировать вторую (дочернюю) иерархию, иначе точка монтирования дочерней иерархии будет выглядеть как пустой каталог. Опция nohide приводит к появлению второй иерархии каталогов без явного монтирования. (прим: я данную опцию так и не смог заставить работать… )
  • ro (rw) – Разрешает только запросы на чтение (запись). (в конечном счете – возможно прочитать/записать или нет определяется на основании прав файловой системы, при этом сервер не способен отличить запрос на чтение файла от запроса на исполнение, поэтому разрешает чтение, если у пользователя есть права на чтение или исполнение.)
  • secure (insecure) – требует, чтобы запросы NFS поступали с защищенных портов (< 1024), чтобы программа без прав root не могла монтировать иерархию каталогов.
  • subtree_check (no_subtree_check) – Если экспортируется подкаталог фаловой системы, но не вся файловая система, сервер проверяет, находится ли запрошенный файл в экспортированном подкаталоге. Отключение проверки уменьшает безопасность, но увеличивает скорость передачи данных.
  • sync (async) – указывает, что сервер должен отвечать на запросы только после записи на диск изменений, выполненных этими запросами. Опция async указывает серверу не ждать записи информации на диск, что повышает производительность, но понижает надежность, т.к. в случае обрыва соединения или отказа оборудования возможна потеря информации.
  • wdelay (no_wdelay) – указывает серверу задерживать выполнение запросов на запись, если ожидается последующий запрос на запись, записывая данные более большими блоками. Это повышает производительность при отправке больших очередей команд на запись. no_wdelay указывает не откладывать выполнение команды на запись, что может быть полезно, если сервер получает большое количество команд не связанных друг с другом.

Экспорт символических ссылок и файлов устройств. При экспорте иерархии каталогов, содержащих символические ссылки, необходимо, чтобы объект ссылки был доступен клиентской (удаленной) системе, то есть должно выполняться одно из следующих правил:

  • в клиентской  файловой системе должен существовать объект ссылки
  • необходимо экспортировать и смонтировать объект ссылки

Файл устройства относится к интерфейсу ядра Linux. При экспорте файла устройства экспортируется этот интерфейс. Если клиентская система  не имеет устройства такого же типа, то экспортированное устройство не будет работать. В клиентской системе, при монтировании NFS объектов можно использовать опцию nodev, чтобы файлы устройств в монтируемых каталогах не использовались.

Опции по умолчанию в разных системах могут различаться, их можно посмотреть в файле /var/lib/nfs/etab. После описания экспортированного каталога в /etc/exports и перезапуска сервера NFS все недостающие опции (читай: опции по-умолчанию) будут отражены в файле /var/lib/nfs/etab.

Опции отображения (соответствия) идентификаторов пользователей

Для большего понимания нижесказанного я бы посоветовал ознакомиться со статьей Управление пользователями Linux. Каждый пользователь Linux имеет свои UID и главный GID, которые описаны в файлах /etc/passwd и /etc/group. Сервер NFS считает, что операционная система удаленного узла выполнила проверку подлинности пользователей и назначила им корректные идентификаторы UID и GID. Экспортирование файлов дает пользователям системы клиента такой же доступ к этим файлам, как если бы они регистрировались напрямую на сервере. Соответственно, когда клиент NFS посылает запрос серверу, сервер использует UID и GID для идентификации пользователя в локальной системе, что может приводить к некоторым проблемам:

  • пользователь может не иметь одни и те же идентификаторы в обеих системах и, соответственно, может получить доступ к фалам другого пользователя.
  • т.к. у пользователя root идентификатор всегда 0, то данный пользователь отображается на локального пользователя в зависимости от заданных опций.

Следующие опции задают правила отображения удаленных пользователей в локальных:

  • root_squash (no_root_squash) – При заданной опции root_squash, запросы от пользователя root отображаются на анонимного uid/gid, либо на пользователя, заданного в параметре anonuid/anongid.
  • no_all_squash (all_squash) – Не изменяет UID/GID подключающегося пользователя. Опция all_squash задает отображение ВСЕХ пользователей (не только root), как анонимных или заданных в параметре anonuid/anongid.
  • anonuid=UID и anongid=GID – Явно задает UID/GID для анонимного пользователя.
  • map_static=/etc/file_maps_users – Задает файл, в котором можно задать сопоставление удаленных UID/GID – локальным UID/GID.

Пример использования файла маппинга пользователей:

ARCHIV ~ # cat /etc/file_maps_users
# Маппинг пользователей
# remote local comment
uid 0-50 1002 # сопоставление пользователей с удаленным UID 0-50 к локальному UID 1002
gid 0-50 1002 # сопоставление пользователей с/span удаленным GID 0-50 к локальному GID 1002

Управление сервером NFS

Управление сервером NFS осуществляется с помощью следующих утилит:

  • nfsstat
  • showmsecure (insecure)ount
  • exportfs

nfsstat: статистика NFS и RPC

Утилита nfsstat позволяет посмотреть статистику RPC и NFS серверов. Опции команды можно посмотреть в man nfsstat.

showmount: вывод информации о состоянии NFS

Утилита showmount запрашивает демон rpc.mountd на удалённом хосте о смонтированных файловых системах. По умолчанию выдаётся отсортированный список клиентов. Ключи:

  • –all – выдаётся список клиентов и точек монтирования с указанием куда клиент примонтировал каталог. Эта информация может быть не надежной.
  • –directories – выдаётся список точек монтирования
  • –exports – выдаётся список экспортируемых файловых систем с точки зрения nfsd

При запуске showmount без аргументов, на консоль будет выведена информация о системах, которым разрешено монтировать локальные каталоги. Например, хост ARCHIV нам предоставляет список экспортированных каталогов с IP адресами хостов, которым разрешено монтировать указанные каталоги:

FILES ~ # showmount --exports archiv
Export list for archiv:
/archiv-big   10.0.0.2
/archiv-small 10.0.0.2

Если указать в аргументе имя хоста/IP, то будет выведена информация о данном хосте:

ARCHIV ~ # showmount files
clnt_create: RPC: Program not registered
# данное сообщение говорит нам, что на хосте FILES демон NFSd не запущен

exportfs: управление экспортированными каталогами

Данная команда обслуживает экспортированные каталоги, заданные в файле /etc/exports, точнее будет написать не обслуживает, а синхронизирует с файлом /var/lib/nfs/xtab и удаляет из xtab несуществующие. exportfs выполняется при запуске демона nfsd с аргументом -r.  Утилита exportfs в режиме ядра 2.6 общается с демоном rpc.mountd через файлы каталога /var/lib/nfs/  и не общается с ядром напрямую. Без параметров выдаёт список текущих экспортируемых файловых систем.

Параметры exportfs:

  • [клиент:имя-каталога] – добавить или удалить указанную файловую систему для указанного клиента)
  • -v – выводить больше информации
  • -r – переэкспортировать все каталоги (синхронизировать /etc/exports и /var/lib/nfs/xtab)
  • -u – удалить из списка экспортируемых
  • -a – добавить или удалить все файловые системы
  • -o – опции через запятую (аналогичен опциям применяемым в /etc/exports; т.о. можно изменять опции уже смонтированных файловых систем)
  • -i – не использовать /etc/exports при добавлении, только параметры текущей командной строки
  • -f – сбросить список экспортируемых систем в ядре 2.6;

Клиент NFS

Прежде чем обратиться к файлу на удалённой файловой системе клиент (ОС клиента) должен смонтировать её и получить от сервера указатель на неё. Монтирование NFS может производиться с помощью команды mount или с помощью одного из расплодившихся автоматических монтировщиков (amd, autofs, automount, supermount, superpupermount). Процесс монтирования хорошо продемонстрирована выше на иллюстрации.

На клиентах NFS никаких демонов запускать не нужно, функции клиента выполняет модуль ядра kernel/fs/nfs/nfs.ko, который используется при монтировании удаленной файловой системы. Экспортированные каталоги с сервера могут монтироваться на клиенте следующими способами:

  • вручную, с помощью команды mount
  • автоматически при загрузке, при монтировании файловых систем, описанных в /etc/fstab
  • автоматически с помощью демона autofs

Третий способ с autofs в данной статье я рассматривать не буду, ввиду его объемной информации. Возможно в следующих статьях будет отдельное описание.

Монтирование файловой системы Network Files System командой mount

Пример использования команды mount представлен в посте Команды управления блочными устройствами. Тут я рассмотрю пример команды mount для монтирования файловой системы NFS:

FILES ~ # mount -t nfs archiv:/archiv-small /archivs/archiv-small
FILES ~ # mount -t nfs -o ro archiv:/archiv-big /archivs/archiv-big
FILES ~ # mount
.......
archiv:/archiv-small on /archivs/archiv-small type nfs (rw,addr=10.0.0.6)
archiv:/archiv-big on /archivs/archiv-big type nfs (ro,addr=10.0.0.6)

Первая команда монтирует экспортированный каталог /archiv-small на сервере archiv в локальную точку монтирования /archivs/archiv-small с опциями по умолчанию (то есть для чтения и записи). Хотя команда mount в последних дистрибутивах умеет понимать какой  тип файловой системы используется и без указания типа, все же указывать параметр -t nfs желательно. Вторая команда монтирует экспортированный каталог /archiv-big на сервере archiv в локальный каталог /archivs/archiv-big с опцией только для чтения (ro). Команда mount без параметров наглядно отображает нам результат монтирования. Кроме опции только чтения (ro), возможно задать другие основные опции при монтировании NFS:

  • nosuid – Данная опция запрещает исполнять setuid программы из смонтированного каталога.
  • nodev (no device – не устройство) – Данная опция запрещает использовать в качестве устройств символьные и блочные специальные файлы.
  • lock (nolock) – Разрешает блокировку NFS (по умолчанию). nolock отключает блокировку NFS (не запускает демон lockd) и удобна при работе со старыми серверами, не поддерживающими блокировку NFS.
  • mounthost=имя – Имя хоста, на котором запущен демон монтирования NFS – mountd.
  • mountport=n – Порт, используемый демоном mountd.
  • port=n – порт, используемый для подключения к NFS серверу (по умолчанию 2049, если демон rpc.nfsd не зарегистрирован на RPC-сервере). Если n=0 (по умолчанию), то NFS посылает запрос к portmap на сервере, чтобы определить порт.
  • rsize=n (read block size – размер блока чтения) – Количество байтов, читаемых за один раз с NFS-сервера. Стандартно – 4096.
  • wsize=n (write block size – размер блока записи) – Количество байтов, записываемых за один раз на NFS-сервер. Стандартно – 4096.
  • tcp или udp – Для монтирования NFS использовать протокол TCP или UDP соответственно.
  • bg – При потери доступа к серверу, повторять попытки в фоновом режиме, чтобы не блокировать процесс загрузки системы.
  • fg – При потери доступа к серверу, повторять попытки в приоритетном режиме. Данный параметр может заблокировать процесс загрузки системы повторениями попыток монтирования. По этой причине параметр fg используется преимущественно при отладке.

Опции, влияющие на кэширование атрибутов при монтировании NFS

Атрибуты файлов, хранящиеся в inod (индексных дескрипторах), такие как время модификации, размер, жесткие ссылки, владелец, обычно изменяются не часто для обычных файлов и еще реже – для каталогов. Многи программы, например ls, обращаются к файлам только для чтения и не меняют атрибуты файлов или содержимое, но затрачивают ресурсы системы на дорогостоящие сетевые операции. Чтобы избежать ненужных затрат ресурсов, можно кэшировать данные атрибуты.  Ядро использует время модификации файла, чтобы определить устарел ли кэш, сравнивая время модификации в кэше и время модификации самого файла. Кэш атрибутов периодически обновляется в соответствии с заданными параметрами:

  • ac (noac) (attrebute cache – кэширование атрибутов) – Разрешает кэширование атрибутов (по-умолчанию). Хотя опция noac замедляет работу сервера, она позволяет избежать устаревания атрибутов, когда несколько клиентов активно записывают информацию в общию иерархию.
  • acdirmax=n (attribute cache directory file maximum – кэширование атрибута максимум для файла каталога) – Максимальное количество секунд, которое NFS ожидает до обновления атрибутов каталога (по-умолчанию 60 сек.)
  • acdirmin=n (attribute cache directory file minimum – кэширование атрибута минимум для файла каталога) – Минимальное количество секунд, которое NFS ожидает до обновления атрибутов каталога (по-умолчанию 30 сек.)
  • acregmax=n (attribute cache regular file maximum – кэширование атрибута максимум для обычного файла) – Максимаьное количество секунд, которое NFS ожидает до обновления атрибутов обычного файла (по-умолчанию 60 сек.)
  • acregmin=n (attribute cache regular file minimum– кэширование атрибута минимум для обычного файла) – Минимальное количество секунд, которое NFS ожидает до обновления атрибутов обычного файла (по-умолчанию 3 сек.)
  • actimeo=n (attribute cache timeout – таймаут кэширования атрибутов) – Заменяет значения для всех вышуказаных опций. Если actimeo не задан, то вышеуказанные значения принимают значения по умолчанию.

Опции обработки ошибок NFS

Следующие опции управляют действиями NFS при отсутствии ответа от сервера или в случае возникновения ошибок ввода/вывода:

  • fg (bg) (foreground – передний план, background – задний план) – Производить попытки монтирования отказавшей NFS на переднем плане/в фоне.
  • hard (soft) – выводит на консоль сообщение “server not responding” при достижении таймаута и продолжает попытки монтирования. При заданной опции soft – при таймауте сообщает вызвавшей операцию программе об ошибке ввода/вывода. (опцию soft советуют не использовать)
  • nointr (intr) (no interrupt – не прерывать) – Не разрешает сигналам прерывать файловые операции в жестко смонтированной иерархии каталогов при достижении большого таймаута. intr – разрешает прерывание.
  • retrans=n (retransmission value – значение повторной передачи) – После n малых таймаутов NFS генерирует большой таймаут (по-умолчанию 3). Большой таймаут прекращает выполнение операций или выводит на консоль сообщение “server not responding”, в зависимости от указания опции hard/soft.
  • retry=n (retry value – значение повторно попытки) – Количество минут повторений службы NFS операций монтирования, прежде чем сдаться (по-умолчанию 10000).
  • timeo=n (timeout value – значение таймаута) – Количество десятых долей секунды ожидания службой NFS до повторной передачи в случае RPC или малого таймаута (по-умолчанию 7). Это значение увеличивается при каждом таймауте до максимального значения 60 секунд или до наступления большого таймаута. В случае занятой сети, медленного сервера или при прохождении запроса через несколько маршрутизаторов или шлюзов увеличение этого значения может повысить производительность.

Автоматическое монтирование NFS при загрузке (описание файловых систем в /etc/fstab)

Описание файла /etc/fstab я затрагивал в соответствующей статье. В текущем примере я рассмотрю несколько примеров монтирования файловых систем NFS с описанием опций:

FILES ~ # cat /etc/fstab | grep nfs
archiv:/archiv-small     /archivs/archiv-small  nfs     rw,timeo=4,rsize=16384,wsize=16384   0       0
nfs-server:/archiv-big   /archivs/archiv-big    nfs     rw,timeo=50,hard,fg                  0       0

Первый пример монтирует файловую систему /archiv-small с хоста archiv в точку монтирования /archivs/archiv-small, тип файловой системы указан nfs (всегда необходимо указывать для данного типа), файловая система монтирована с опцией для чтения, записи (rw). Хост archiv подключен по быстрому локальному каналу, поэтому для повышения производительности параметр timeo уменьшен и существенно увеличены значения rsize и wsize. Поля для программ dump и fsck заданы в ноль, чтобы данные программы не использовали файловую систему, примонтированную по NFS. Второй пример монтирует файловую систему /archiv-big с хоста nfs-server. Т.к. к хосту nfs-server мы подключены по медленному соединению, параметр timeo увеличен до 5 сек (50 десятых долей сек), а так же жестко задан параметр hard, чтобы NFS продолжала перемонтировать файловую систему после большого таймаута, так же задан параметр fg, чтобы при загрузке системы и недоступности хоста nfs-server не произошло зависания.

Прежде чем сохранять изменения в /etc/fstab, обязательно попробуйте смонтировать вручную и убедитесь, что всё работает!!!

Повышение производительности NFS

На производительность NFS могут влиять несколько параметров, особенно при работе через медленные соединения. При работе с медленными и высоконагруженными соединениями, желательно использовать параметр hard, чтобы таймауты не привели к прекращению работы программ. Но необходимо осознавать, что если смонтировать файловую систему через NFS с параметром hard через fstab, а удаленный хост окажется недоступен, то при загрузке системы произойдет зависание.

Так же, одним из самых легких способов повышения производительности NFS – увеличение количества байтов, передаваемых за один раз. Размер в 4096 байт слишком мал для современных быстрых соединений, увеличивая это значение до 8192 и более можно экспериментальным путем найти оптимальную скорость.

Так же, не стоит упускать из внимания и настройки тайм-аутов. NFS ожидает ответа на пересылку данных в течении промежутка времени, указанного в опции timeo, если ответ за это время не получен, то выполняется повторная пересылка. Но на загруженных и медленных соединениях это время может быть меньше времени реакции сервера и способности каналов связи, в результате чего могут быть излишние повторные пересылки, замедляющие работу.По умолчанию, timeo равно 0,7 сек (700 миллисекунд). после неответа в течении 700 мс сервер совершит повторную пересылку и удвоит время ожидания до 1,4 сек., увеличение timeo будет продолжаться до максимального значения в 60 сек. Далее в зависимости от параметра hard/soft произойдет какое-либо действие (см.выше).

Подобрать оптимальный timeo для определенного значения передаваемого пакета (значений rsize/wsize), можно с помощью команды ping:

FILES ~ # ping -s 32768 archiv
PING archiv.DOMAIN.local (10.0.0.6) 32768(32796) bytes of data.
32776 bytes from archiv.domain.local (10.0.0.6): icmp_req=1 ttl=64 time=0.931 ms
32776 bytes from archiv.domain.local (10.0.0.6): icmp_req=2 ttl=64 time=0.958 ms
32776 bytes from archiv.domain.local (10.0.0.6): icmp_req=3 ttl=64 time=1.03 ms
32776 bytes from archiv.domain.local (10.0.0.6): icmp_req=4 ttl=64 time=1.00 ms
32776 bytes from archiv.domain.local (10.0.0.6): icmp_req=5 ttl=64 time=1.08 ms
^C
--- archiv.DOMAIN.local ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4006ms
rtt min/avg/max/mdev = 0.931/1.002/1.083/0.061 ms

Как видно, при отправке пакета размером 32768 (32Kb) время его путешествия от клиента до сервера и обратно плавает в районе 1 миллисекунды. Если данное время будет зашкаливать за 200 мс, то стоит задуматься о повышении значения timeo, чтобы оно превышало значение обмена в три-четыре раза. Соответственно, данный тест желательно делать во время сильной загрузки сети

Запуск NFS и настройка Firewall

Заметка скопипсчена с блога http://bog.pp.ru/work/NFS.html, за что ему огромное спасибо!!!

Запуск сервера NFS, монтирования, блокировки, квотирования и статуса с “правильными” портами (для сетевого экрана)

  • желательно предварительно размонтировать все ресурсы на клиентах
  • остановить и запретить запуск rpcidmapd, если не планируется использование NFSv4:
    chkconfig --level 345 rpcidmapd off 
    service rpcidmapd stop
  • если нужно, то разрешить запуск сервисов portmap, nfs и nfslock:
    chkconfig --levels 345 portmap/rpcbind on 
    chkconfig --levels 345 nfs on 
    chkconfig --levels 345 nfslock on
  • если нужно, то остановить сервисы nfslock и nfs, запустить portmap/rpcbind, выгрузить модули
    service nfslock stop
    service nfs stop
    service portmap start # service rpcbind start
    umount /proc/fs/nfsd 
    service rpcidmapd stop 
    rmmod nfsd 
    service autofs stop # где-то потом его надо запустить rmmod nfs rmmod nfs_acl rmmod lockd
  • открыть порты в iptables
    • для RPC: UDP/111, TCP/111
    • для NFS: UDP/2049, TCP/2049
    • для rpc.statd: UDP/4000, TCP/4000
    • для lockd: UDP/4001, TCP/4001
    • для mountd: UDP/4002, TCP/4002
    • для rpc.rquota: UDP/4003, TCP/4003
  • для сервера rpc.nfsd добавить в /etc/sysconfig/nfs строку
    RPCNFSDARGS="--port 2049"
  • для сервера монтирования добавить в /etc/sysconfig/nfs строку
    MOUNTD_PORT=4002
  • для настройки rpc.rquota для новых версий необходимо добавить в /etc/sysconfig/nfs строку
    RQUOTAD_PORT=4003
  • для настройки rpc.rquota необходимо для старых версий (тем не менее, надо иметь пакет quota 3.08 или свежее) добавить в /etc/services
    rquotad 4003/tcp 
    rquotad 4003/udp
  • проверит адекватность /etc/exports
  • запустить сервисы rpc.nfsd, mountd и rpc.rquota (заодно запускаются rpcsvcgssd и rpc.idmapd, если не забыли их удалить)
    service nfsd start 
     или в новых версиях 
    service nfs start
  • для сервера блокировки для новых систем добавить в /etc/sysconfig/nfs строки
    LOCKD_TCPPORT=4001 
    LOCKD_UDPPORT=4001
  • для сервера блокировки для старых систем добавить непосредственно в /etc/modprobe[.conf]:
    options lockd nlm_udpport=4001 nlm_tcpport=4001
  • привязать сервер статуса rpc.statd к порту 4000 (для старых систем в /etc/init.d/nfslock запускать rpc.statd с ключом -p 4000)
    STATD_PORT=4000
  • запустить сервисы lockd и rpc.statd
    service nfslock start
  • убедиться, что все порты привязались нормально с помощью “lsof -i -n -P” и “netstat -a -n” (часть портов используется модулями ядра, которые lsof не видит)
  • если перед “перестройкой” сервером пользовались клиенты и их не удалось размонтировать, то придётся перезапустить на клиентах сервисы автоматического монтирования (am-utilsautofs)

Пример конфигурации NFS сервера и клиента

Конфигурация сервера

Если вы хотите сделать ваш разделённый NFS каталог открытым и с правом записи, вы можете использовать опцию all_squash в комбинации с опциями anonuid и anongid. Например, чтобы установить права для пользователя ‘nobody’ в группе ‘nobody’, вы можете сделать следующее:

ARCHIV ~ # cat /etc/exports
# Доступ на чтение и запись для клиента на 192.168.0.100, с доступом rw для пользователя 99 с gid 99
/files 192.168.0.100(rw,sync,all_squash,anonuid=99,anongid=99))
# Доступ на чтение и запись для клиента на 192.168.0.100, с доступом rw для пользователя 99 с gid 99
/files 192.168.0.100(rw,sync,all_squash,anonuid=99,anongid=99))

Это также означает, что если вы хотите разрешить доступ к указанной директории, nobody.nobody должен быть владельцем разделённой директории:

# chown -R nobody.nobody /files

Конфигурация клиента

На клиенте необходимо примонтировать удаленный каталогудобным способом, например командой mount:

FILES ~ # mount -t nfs archiv:/files /archivs/files

Резюме

Фух… Статья завершена. Сегодня мы изучили что такое Network File System и с чем ее едят, в следующей статье попытаюсь сделать HOWTO с аутентификацией Kerberos. Надеюсь материал получился доходчивым и нужным. Буду рад Вашим дополнениям и комментариям!

Дополнительно можно почитать

NFS HOWTO, nfs.sourceforge, man nfs? man mount, man exports

RFC 1094 – NFSv1, v2
RFC 1813 – NFSv3
RFC 3530 – NFSv4
RFC 5661 – NFSv4.1
NFS HOWTO
nfs.sourceforge.net
man mount
man exports
http://publib.boulder.ibm.com/infocenter/pseries/v5r3/index.jsp?topic=/com.ibm.aix.prftungd/doc/prftungd/nfs_perf.htm – производительность NFS от IBM.

С Уважением, Mc.Sim!




Теги: , , ,

60 комментариев к “Network File System (NFS) на Linux”

  1. artie
    5 декабря, 2011 at 16:07
    1

    Здравствуйте. Спасибо за статью. Проблемы. Два компа под kubuntu 11.04 соединены по NFS по хорошей сети. Клиент открывает на сервере файл и дописывает данные. Почему после открытия файла он остается пустым ~ 34 сек. а затем дописывается с промежутками в 6 сек, хотя данные поступают непрерывно? Изменения опций no_wdelay, acregmax и др. не меняют скорости. На что обратить внимание? Спасибо.

    • 5 декабря, 2011 at 17:20
      2

      Доброго времени!
      А покажите файл /var/lib/nfs/etab с сервера, команду mount и файл fstab с клиента?
      Вообще, NFS не пишет постоянно, он пишет порциями, за это отвечает параметр wsize=n, у которого есть какое-то значение по умолчанию…

    • 5 декабря, 2011 at 17:27
      3

      И еще команду nfsstat -m с клиента

  2. artie
    5 декабря, 2011 at 18:09
    4

    сервер:
    user@MS7636:~$ more /var/lib/nfs/etab
    /home/user/data_cc 192.168.0.2(rw,sync,no_wdelay,hide,nocrossmnt,insecure,root_squash,no_all_squash,no_
    subtree_check,secure_locks,acl,anonuid=65534,anongid=65534)
    клиент:
    ccuser@cca2:~$ nfsstat -m
    /home/ccuser/data_to_ms from 192.168.0.1:/home/user/data_cc
    Flags: rw,relatime,vers=4,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.0.2,minorversion=0,local_lock=none,addr=192.168.0.1

  3. artie
    5 декабря, 2011 at 18:12
    5

    Прошу прощения,
    клиент:
    ccuser@cca2:~$ nfsstat -m
    /home/ccuser/data_to_ms from 192.168.0.1:/home/user/data_cc
    Flags: rw,relatime,vers=4,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,
    clientaddr=192.168.0.2,minorversion=0,local_lock=none,addr=192.168.0.1

    • 5 декабря, 2011 at 18:17
      6

      ну вот и ответ:
      пишет по wsize=262144 – 256 Кб.

  4. artie
    7 декабря, 2011 at 18:52
    7

    Здравствуйте. Спасибо, но к сожалению, явное задание параметров timeo=6,wsize=16384 в fstab не привело к заметному изменению начала записи в файл данных на сервере. Не связано ли это с ожиданием кэширования атрибутов? Ну ладно, буду экспериментировать дальше.

    • 7 декабря, 2011 at 18:57
      8

      Можно посмотреть, какого размера первая порция записи в файл, и уже из этого сделать какой-то вывод…

      • 7 декабря, 2011 at 18:58
        9

        Может сам софт, который использует файл – пишет порциями…

  5. artie
    9 декабря, 2011 at 16:41
    10

    Здравствуйте. После экспериментов с wsize, стало понятно, что дело не в этом. Заметил, что если дать команду ls, то данные начинают поступать. Установил опцию noac, и данные стали передаваться без задержек. В статье сказано: “Хотя опция noac замедляет работу сервера…”, у меня получилось наоборот.
    Также заметил, что недостаточно дать команду sudo mount -a, чтобы изменения, сделанные в fstab вступили в силу, а нужно предварительно вручную отмонтировать nfs.
    Так что все заработало. ))

    • 9 декабря, 2011 at 17:56
      11

      Отлично. Рад, что все получилось. На будующее тоже учту. Опция noac может замедлить работу, если объем передаваемых данных будет большим (таким большим, что не хватит ресурсов диска/сети) и многопоточным, а это как я понял не в вашем случае…

  6. 8 марта, 2012 at 21:55
    12

    Добрдень!
    А возможно вообще как-то аутентификацию по ключу-паролю задать? А то по ип-шнику как-то неправильно :(
    Спасибо.

    зы: галочка подписки на комменты где-то вдалеке от формы внизу. Если специально ен искать – фиг заметишь.

    • 11 марта, 2012 at 02:25
      13

      NFSv4 поддерживает Kerberos, а так же, вроде как LIPKEY, но у меня руки не доходили…
      За замечание о подписке – спасибо. Пересмотрю размещение.

  7. 20 марта, 2012 at 21:28
    14

    Спасибо за информацию) =)

    • 21 марта, 2012 at 13:24
      15

      пожалуйста!
      Приходите еще!

  8. root
    22 февраля, 2013 at 11:55
    16

    Здравствуйте, у меня showmount с ключами и без ключей ничего не отображает, что делать?
    Пишет:
    Hosts on $hostname:

    и все.

    • 23 февраля, 2013 at 06:17
      17

      Приветствую,
      Можно увидеть команду и вывод полностью?

  9. selivan
    8 мая, 2013 at 18:55
    18

    Спасибо за полезную статью :)

    • 8 мая, 2013 at 22:10
      19

      Пожалуйста. Приходите еще!

  10. Олександр
    28 мая, 2013 at 18:57
    20

    у меня две сетевые карти eth1 eth2 как настроить сервер nfs чтобы он работал именно через eth2.поскольку по умолчянию через eth2 сервер не видет подключяемых клиентов.статистика молчит-нет запросов к серверу.думаю что запрос идет к eth1 или eth0 как ето изменить

    • 30 мая, 2013 at 09:35
      21

      1. Что у вас за дистрибутив
      2. Покажите полностью сетевую конфигурацию?

  11. Олександр
    30 мая, 2013 at 14:26
    22

    debian 12.10 сервер с доустановленым графическим интерфейсом
    sudoedit /etc/network/interfaces
    # The loopback network interface
    auto lo
    iface lo inet loopback

    # External
    auto eth0
    iface eth0 inet dhcp

    # Internal
    auto eth2
    iface eth2 inet static
    address 192.168.0.1
    network 192.168.0.0
    netmask 255.255.255.0
    broadcast 192.168.0.255
    sudo nano /etc/export
    /srv *(rw,sync,no_root_squash,no_subtree_check)
    /srv/tftp *(rw,sync,no_root_squash,no_subtree_check)
    /srv/tftp/desktop *(rw,sync,no_root_squash,no_subtree_check)
    fstab
    192.168.0.1:/srv/tftp/desktop / nfs defaults 0 0
    комп имеет адрес
    192.168.0.1
    на нем также запущены dhcp tftp сервера.С компа нужно срочно зделать сервер для бездисковой загрузки ubuntu

  12. Олександр
    30 мая, 2013 at 14:30
    23

    сорри немного не те настройки
    iface eth1 inet static

    address 10.64.0.20

    netmask 255.248.0.0

    network 10.64.0.0

    broadcast 10.71.255.255

    gateway 10.64.0.1

    # dns-* options are implemented by the resolvconf package, if installed

    dns-nameservers 195.95.210.2

    dns-search lab28
    Internal
    auto eth2
    iface eth2 inet static
    address 192.168.0.1
    network 192.168.0.0
    netmask 255.255.255.0
    broadcast 192.168.0.255

    • 3 июня, 2013 at 08:35
      24

      на клиентах какая конфигурация? (то есть какая выдается конфигурация DHCP и tftp)

  13. Олександр
    3 июня, 2013 at 14:21
    25

    dhcp динамический от 192.168.0.10 до 192.168.0.30 .tftp просто засунул папку с клиентской ос в папку tftp/ubuntu также в tftp есть папка pxelinux
    sudo nano /srv/tftp/desktop/etc/fstab
    192.168.0.1:/srv/tftp/desktop / nfs defaults 0 0

    • 6 июня, 2013 at 13:20
      26

      В общем, кашамала получилась. сначала вы говорите о eth1 и eth2, потом о eth1 и eth0…
      Покажите актуальную конфигурацию сети (все интерфейсы), конфиг nfs сервера, конфиг dhcp и tftp сервера. Структуру каталога tftp с правами доступа.
      После этого можно будет хоть как-то оценить ситуацию…

      Вы пробовали с обычной станции (не бездисковой) подключиться по NFS?

  14. юрий
    27 июля, 2013 at 17:25
    27

    а почему у вас на рисунку значение портов выше > 65535 ?

    • 5 сентября, 2013 at 21:53
      28

      Юрий, спасибо за замечание.
      Это конечно же ошибка. Как доберусь до исходников рисунков – исправлю.

    • 9 сентября, 2013 at 21:45
      29

      Картинка поправлена )
      Еще раз спасибо.

  15. юрий
    27 июля, 2013 at 18:11
    30

    Еще один вопрос по поводу того, как работают программы через RPC. Я все понял так:

    1. На 111 udp и tcp порту запускаются portmapper (или другой rpc-сервис).

    2. При запуске программы, которая работает через RPC, программой задается запрос portmapper-у на определенную информацию для запуска и он выдает ей номер порта (сокет) и некоторе другие параметры (версию и тд.)

    3. Когда программе, которая работает через RPC, необходимо узнать где работает необходимая служба на удаленном сервере (или нужна какая-то другая инфа), она сначала связывается со своим локальным portmapper-ом, а уже потом последний связывается с удаленным portmapper-ом (RPC-сервером). После етого локальный portmapper отдает инфу программе, которая ее запросила.

    Поправьте, если я ошибаюсь.

    • 5 сентября, 2013 at 22:57
      31

      1. На 111 udp и tcp порту запускаются portmapper (или другой rpc-сервис).

      Да, все верно. под именем portmapper понимается служба rpcbind или portmap (в зависимости от дистрибутива).

      2. При запуске программы, которая работает через RPC, программой задается запрос portmapper-у на определенную информацию для запуска и он выдает ей номер порта (сокет) и некоторе другие параметры (версию и тд.)

      3. Когда программе, которая работает через RPC, необходимо узнать где работает необходимая служба на удаленном сервере (или нужна какая-то другая инфа), она сначала связывается со своим локальным portmapper-ом, а уже потом последний связывается с удаленным portmapper-ом (RPC-сервером). После етого локальный portmapper отдает инфу программе, которая ее запросила.

      вот тут я не уверен, что клиент\программа работает через своего локального portmapper’a. Чтобы убедится в этом, необходимо ковырять исходники ядра. В моем понимании клиент взаимодействует через модуля ядра kernel/fs/nfs/nfs.ko. Не исключено, что этот модуль обращается к локальному портмаперу.

      • юрий
        3 октября, 2013 at 16:09
        32

        спасибо!

  16. ApB
    21 августа, 2013 at 13:17
    33

    бодрого времени суток!
    Есть желание закатать NFS-сервер как корпоративный файл-сервер, но возникает ряд вопросов, а именно:
    Есть-ли возможность отслеживать (фильтровать) файлы по расширению на NFS-сервере и если есть, то как? (Функция аналогичная veto в smb.conf)
    Есть-ли возможность записи лога доступа к шаре аналогично:
    ?

    • 5 сентября, 2013 at 21:58
      34

      Здравствуйте.
      Фильтровать – вряд ли… Лог доступа можно попытаться реализовать с помощью, например, демона Auditd.

  17. Кирилл
    2 октября, 2013 at 12:53
    35

    Всем привет, как бы увеличить скорость записии на nfs, более 40 мб /c никак не выходит.
    Если пулять с хоста, где эта шара смонтирована выходит 800 мб /c

    • 26 октября, 2013 at 12:04
      36

      Кирилл, что значит, “с хоста, где эта шара смонтирована”?
      То есть если клиента и сервера на одном хосте запустить получается 800 Мб? А если клиент на удаленной станции, то 40?
      Первым делом, попробуйте проверить скорость, соединив сервера кроссовер-кабелем и задав размер пакета более стандартного 1500.

      • Кирилл
        26 октября, 2013 at 22:19
        37

        >получается 800 Мб?
        Это я кеш не отключил.
        >соединив сервера кроссовер-кабелем
        Хм, у меня нет такой возможности.
        >задав размер пакета более стандартного 1500
        Смысла в этом нет, на свичах/погр фаерфолах нет возможности настроить jumbo.

        • 27 октября, 2013 at 15:36
          38

          >задав размер пакета более стандартного 1500
          Смысла в этом нет, на свичах/погр фаерфолах нет возможности настроить jumbo.

          в таком случае, это максимальная скорость…

  18. Кирилл
    27 октября, 2013 at 21:42
    39

    >в таком случае, это максимальная скорость…
    Можете пояснить почему?

    • 28 октября, 2013 at 09:10
      40

      Да, про 40 Мб я погорячился…
      Давайте пойдем таким путем:
      1. протестим максимальную скорость локальной сети между сервером/клиентом
      2. протестим скорость записи и чтения жестких дисков на сервере
      3. протестим скорость чтения и записи жестких на клиенте
      4. попробуем ускорить скорость NFS обмена
      =)
      Если знаете, как это сделать то покажите выводы команд, если нет – буду подсказывать. Начнем с первого шага: рекомендую для этого использовать iperf на незагруженной сети. Желательно проделать 5-10 тестов по 15-30 секунд.

  19. Кирилл
    29 октября, 2013 at 13:52
    41

    Да, буду отписывать, по мере выполнения.

  20. Кирилл
    4 декабря, 2013 at 16:24
    42

    Привет. Не было времени начать тестирование, извиняюсь за задержку.
    Итак, у меня сервер ядро 2.6.18-274.el5 x86_64 x86_64 GNU/Linux oel 5.7, клиент такой же.
    На сервере RAID 10, из 4 дисков (диски по 2tb SATA).Raid собран командой
    mdadm -v –create /dev/md2 –chunk=64 –level=raid10 –raid-devices=4 /dev/sda4 /dev/sdb3 /dev/sdc1 /dev/sdd1
    На этом разделе накручен ext3 командой mkfs.ext3 -b 4096 -E stride=16 /dev/md2
    Iperf установил на клиенте и на сервере.
    Этот раздел роздан по NFS клиенту (rw,no_root_squash,async,no_subtree_check).
    Mc.SiM, если не затруднит киньте команды для проверки…

    • 6 декабря, 2013 at 11:30
      43

      Комментарий не потерли, комментарии публикуются после рассмотрения…
      Проведение теста с iperf рекомендую делать, когда сеть нагружена минимально. Это позволит определить реальные пропускные возможности сети.
      В сети куча статей про iperf. Например: http://www.ancher.ru/content/07-04-2009/Kak-protiestirovat-skorost-sieti-izmieriaiem-shirinu-kanala-Intierniet
      Желательно проделать 5-10 тестов по 15-30 секунд одного хоста на другой и обратно.

  21. Кирилл
    7 декабря, 2013 at 17:03
    44

    Потестировал вот результаты.Странно, что они разные когда клиент и сервер меняются местами.

    [root@ivan-violet ~]# iperf -s -f M
    ————————————————————
    Server listening on TCP port 5001
    TCP window size: 0.08 MByte (default)
    ————————————————————
    [ 4] local 77.75.159.158 port 5001 connected with 77.75.159.132 port 20669
    [ ID] Interval Transfer Bandwidth
    [ 4] 0.0-30.0 sec 1504 MBytes 50.1 MBytes/sec
    [ 5] local 77.75.159.158 port 5001 connected with 77.75.159.132 port 20699
    [ 5] 0.0-20.0 sec 1110 MBytes 55.5 MBytes/sec
    [ 4] local 77.75.159.158 port 5001 connected with 77.75.159.132 port 32027
    [ 4] 0.0-10.0 sec 461 MBytes 46.0 MBytes/sec
    [ 5] local 77.75.159.158 port 5001 connected with 77.75.159.132 port 32035
    [ 5] 0.0-50.2 sec 3237 MBytes 64.5 MBytes/sec
    [ 4] local 77.75.159.158 port 5001 connected with 77.75.159.132 port 32086
    [ 4] 0.0-40.0 sec 2084 MBytes 52.1 MBytes/sec

  22. Кирилл
    7 декабря, 2013 at 17:07
    45

    [root@ivan-green ~]# iperf -s -f M
    ————————————————————
    Server listening on TCP port 5001
    TCP window size: 0.08 MByte (default)
    ————————————————————
    [ 4] local 77.75.159.132 port 5001 connected with 77.75.159.158 port 49519
    [ ID] Interval Transfer Bandwidth
    [ 4] 0.0-50.1 sec 622 MBytes 12.4 MBytes/sec
    [ 5] local 77.75.159.132 port 5001 connected with 77.75.159.158 port 49524
    [ 5] 0.0-40.0 sec 552 MBytes 13.8 MBytes/sec
    [ 4] local 77.75.159.132 port 5001 connected with 77.75.159.158 port 49528
    [ 4] 0.0-30.1 sec 396 MBytes 13.2 MBytes/sec
    [ 5] local 77.75.159.132 port 5001 connected with 77.75.159.158 port 49530
    [ 5] 0.0-20.1 sec 300 MBytes 15.0 MBytes/sec
    [ 4] local 77.75.159.132 port 5001 connected with 77.75.159.158 port 49534
    [ 4] 0.0-10.0 sec 115 MBytes 11.4 MBytes/sec

  23. Кирилл
    7 декабря, 2013 at 17:31
    46

    Тест записи nfs шары с клиента
    [root@ivan-green orabackups]# time dd bs=64k count=1280 if=/dev/zero of=/orabackups/ORAIVAN/test/testfile conv=fdatasync
    1280+0 records in
    1280+0 records out
    83886080 bytes (84 MB) copied, 1.34666 seconds, 62.3 MB/s

    [root@ivan-green orabackups]# time dd bs=64k count=1280 if=/dev/zero of=/orabackups/ORAIVAN/test/testfile oflag=dsync
    1280+0 records in
    1280+0 records out
    83886080 bytes (84 MB) copied, 2.4109 seconds, 34.8 MB/s

    Не очень понял будет ли в этих тестах использован кеш фс?

    • 12 декабря, 2013 at 13:18
      47

      C учетом результатов теста iperf можно сказать, что результаты работы NFS довольно неплохи. Чтобы улучшить цифры, необходимо разбираться в узких местах сети.
      Кеш, имхо, используется для формирования “блоков”, которые отправляются по сети.

  24. Кирилл
    7 декабря, 2013 at 17:34
    48

    Тест записи этого раздела с nfs сервера

    [root@ivan-violet test]# time dd bs=64k count=1280 if=/dev/zero of=/orabackups/ORAIVAN/test/testfile conv=fdatasync
    1280+0 records in
    1280+0 records out
    83886080 bytes (84 MB) copied, 0.613433 seconds, 137 MB/s

    [root@ivan-violet test]# time dd bs=64k count=1280 if=/dev/zero of=/orabackups/ORAIVAN/test/testfile oflag=dsync
    1280+0 records in
    1280+0 records out
    83886080 bytes (84 MB) copied, 2.06335 seconds, 40.7 MB/s

  25. Кирилл
    7 декабря, 2013 at 17:52
    49

    Параметры монтирования nfs
    type nfs (rw,rsize=32768,wsize=32768,hard,tcp,nfsvers=3,intr,fg,nolock,retry=3,timeo=600,addr=77.75.159.158)

  26. Лапоть
    27 июня, 2015 at 23:07
    51

    Офигенный материал!!!
    Но я правильно понимаю, что в NFS v 4 все стало резко иначе?..

    • 10 октября, 2015 at 13:08
      52

      Спасибо за комментарий.
      В четвертой версии стало больше возможностей, но с точки зрения сетевой части мало что поменялось.
      Одну из фич я описывал в статье о настройке Kerberos.

  27. Влад
    5 апреля, 2016 at 21:13
    53

    Подскажите, как монтировать по NFSv4?
    /etc/exports:
    # /etc/exports: the access control list for filesystems which may be exported
    # to NFS clients. See exports(5).
    /export/home-nas 192.168.0.0/24(rw,sync,subtree_check,secure)

    # NFSv4 - pseudo filesystem root
    /export 192.168.0.0/24(ro,fsid=0,root_squash,no_subtree_check,hide)

    Насколько я понял в случае с NSFv4 нужно дать команду, пример:
    mount -t nfs4 192.168.0.131:/home-nas /mnt/tmp1
    Но ничего не происходит, вернее так и не появляется приглашение и ошибок нет. Просто жму Ctrl+C для отмены. С NFSv3 проходит всё номарльно:
    mount -t nfs 192.168.0.131:/export/home-nas /mnt/tmp1
    Выполняется и вижу расшаренный ресурс.

    • 6 августа, 2016 at 12:19
      54

      А что говорит
      mount -tv nfs4 192.168.0.131:/home-nas /mnt/tmp1
      ?

  28. Incomer
    7 ноября, 2018 at 13:05
    55

    Спасибо за отличнейший материал. Надеюсь автор следит ещё за комментариями.
    Есть по сути один вопрос.
    Монтируем windows nfs ресурс на AIX системе.
    Определённые скрипты с AIX перемещают (команда move) данные из одного нфс ресурса (ресурс 1) в другом (ресурс 2). В день, около 10 тысяч файлов. Но, последнее время замечаем что в день, 3-4 файлы не попадают в ресурс 2.
    Вот что показывают логи: NFS getattr failed for server winnfs: error 5 (RPC: 1832-008 Timed out)

    Исключены падения сети, и то что файлы заблокированы другим процессом. Пока что не можем убедить прогеров переделывать скрипты чтобы перед тем как удалить (мы ведь знаем что move это на деле copy + delete) файлы с ресурса 1, проверяли если копирование удалась на ресурс 2. Таким образом файлы просто пропадают.
    Вот и возникает вопрос, каким образом можно понять возникновение ошибки при копирование файла?)

    • 10 февраля, 2019 at 23:06
      56

      Так и не дождался ответа по email )

  29. Александр
    3 ноября, 2019 at 14:01
    57

    Здравствуйте!
    root@OpenWrt:~# df
    Filesystem 1K-blocks Used Available Use% Mounted on
    rootfs 960 896 64 93% /
    /dev/root 1792 1792 0 100% /rom
    tmpfs 6544 52 6492 1% /tmp
    tmpfs 512 0 512 0% /dev
    /dev/mtdblock3 960 896 64 93% /overlay
    overlayfs:/overlay 960 896 64 93% /

    root@OpenWrt:/sbin# df -h
    Filesystem Size Used Available Use% Mounted on
    rootfs 960.0K 896.0K 64.0K 93% /
    /dev/root 1.8M 1.8M 0 100% /rom
    tmpfs 6.4M 336.0K 6.1M 5% /tmp
    tmpfs 512.0K 0 512.0K 0% /dev
    /dev/mtdblock3 12.9G 8.6G 3.7G 70% /overlay
    overlayfs:/overlay 960.0K 896.0K 64.0K 93% /
    192.168.1.2:/home/nfs/
    12.9G 8.6G 3.7G 70% /overlay

    cd /overlay

    root@OpenWrt:/overlay# opkg install libcap_2.22-1_atheros.ipk
    Installing libcap (2.22-1) to root...
    Collected errors:
    * wfopen: //usr/lib/opkg/info/libcap.control: No space left on device.
    * extract_archive: Cannot create symlink from ./usr/lib/libcap.so to 'libcap.so.2': No space left on device.
    * wfopen: /usr/lib/libcap.so.2.22: No space left on device.
    * extract_archive: Cannot create symlink from ./usr/lib/libcap.so.2 to 'libcap.so.2.22': No space left on device.
    * set_flags_from_control: Failed to open //usr/lib/opkg/info/libcap.control: No such file or directory.
    * pkg_write_filelist: Failed to open //usr/lib/opkg/info/libcap.list: No space left on device.
    * opkg_install_pkg: Failed to extract data files for libcap. Package debris may remain!
    * opkg_install_cmd: Cannot install package libcap.
    * opkg_conf_write_status_files: Can't open status file //usr/lib/opkg/status: No space left on device.

    установка и запуск программ не получается нет места – это 3.7 гига пишет. Что не правильно делаю?

    • 18 ноября, 2019 at 19:23
      58

      На почту ответил.

  30. NikLok
    30 сентября, 2021 at 13:39
    59

    Увжаемый Mc.Sim , к сожалению не смог осилить всю статью, но имею насущный вопрос. На расщаренной файловой системе имеем множество созданных файлов вида .nfs000000000…… Для их корректного удаления нужно завершить процессы их создающие-блокирующие. По рецепту для этого на сервере порождающего процесса нужно выполнить команду lsof.
    И тут вопрос – “Как определить этот сервер!?” Ну по 10ку серверов можно пройтись. Но и файлов может быть много и серверов уже давно за 100! А в крупных организациях кол-во серверов уже за 1000и и т.д. Подскажите как определить сервер!

    • 2 марта, 2024 at 15:19
      60

      мне кажется, нужно иметь список клиентов, кто использует этот ресурс и по ним проходиться.

Написать комментарий