Быстрая настройка Ceph на VMWare

В данном руководстве мы рассмотрим быстрый способ настройки Ceph, которую развернем на виртуальной машине, установленной на стандартном ПК. Учтите, что для создания и клонирования определенных ВМ, вам может понадобиться гораздо больше времени.

Итак, начнем с параметров ПК. Здесь все просто и у вас не должно возникнуть трудностей. 8 GB оперативной памяти вам хватит с лихвой. Пример будет развернут на ОС Windows 7. Для виртуальных машин понадобится Ubuntu Server последней доступной версии.

Создаем виртуальную машину

Для начала, создадим место для установки по методу preallocated с отсутствием каких-либо разделений. В результате получим:

Установка и настройка ОС

Этот пункт относится к Ubuntu Server. Мы приводим пример на версии 16.04.2. Учтите, что более ранние или поздние версии могут нуждаться в различных способах настройки.
Очевидно, что все команды нужно проводить «рутом» без применения сложного пароля. Но в дальнейшем, его все-таки лучше заменить на более надежный.

Итак, проводим установку

Монтаж

После завершения, проводим проверку полученного адреса:

Нам попался 192.168.1.128, именно на этот адрес создаем линк по SSH. Создаём пароль «рута»:

Дальше проводим настройку сетевого интерфейса. На данном этапе вас отключит от SSH из-за смены IP:

Как решить проблему?

Заходим уже под новым полученным адресом и открываем доступ для нашей машины под рутом:

Расшифровка

Далее перепишите команду, чтобы указать имена основного и соседних хостов:

Как только адреса будут заменены, вам может понадобиться указать маршрут «по умолчанию», который понадобится для отправки необходимых пакетов. Не забудьте провести синхронизацию времени на машинах с помощью ntp.

В итоге, мы настроили первую систему и все, что должно быть на клонах. Проводим отключение:

Создание клонов и настройка сети

Создаём снапшот первой системы и клонируем его на две другие машины со ссылкой на первый снапшот. Заметьте, что все IP-адреса на трех машинах будут одинаковыми. Подключение нужно провести с конца, сразу заменяя IP-адреса.

Настройка cn3

Включаем систему и линкуемся по SSH на 192.168.1.11 под рутом. Затем нужно заменить адрес на 192.168.1.13. После этого SSH отключится:

Настройка cn2

Мы получили нужный адрес на cn3. Переходим к cn2 и повторяем все действия, как и в первом варианте. Сейчас указываем адрес 192.168.1.12:

Соединение должно снова упасть.

Настройка cn1

Теперь заходим на первую машину. Нужно сгенерировать SSH-ключи для управления оставшимися клонами. Согласно правилам по организации, Ceph хранилище требует разложить все по отдельным нодам:

В итоге, мы получаем работающую систему, где каждый узел может подключаться к своим соседям без установленного пароля под рутом. Да, это небезопасно, но мы рассматриваем быстрый способ настройки. Также важно сделать на этом этапе снапшот каждого узла, чтобы не потерять данные в случае допущения критической ошибки и быстро восстановить работу.

Настройка Ceph-кластера

Для начала, запустите все системы и создайте SSH-линк для cn1. Теперь установите на каждый узел ceph-deploy для упрощения дальнейшей установки. После этого переходим к созданию самого кластера, за счет установки дистрибутива Ceph на каждый узел и добавления монитора (на каждый отдельный нод. В итоге, заполняем хранилище данными.

Проводим проверку состояния:

Обратите внимание на «health». Если вы видите в окне HEALTH_WARN или «too few PGs per OSD (21 < min 30)», то выполните следующие шаги:

Ждем окончания процесса расширения пространства и снова проводим проверку состояния:

Если вы получили «HEALTH_OK», то можно работать дальше.

Дефолтные настройки устанавливают пул равный 3 (тройное копирование данных). Чтобы увидеть это, выполните следующую команду:

Можно снизить копирование до 2 и установить минимальный пул = 1, чтобы повысить производительность.

Установка и настройка iSCSI-target

После этого, можно переходить к тестированию работоспособности. Устанавливаем iSCSI-target на первый узел:

Нам нужен RBD-образ, место для которого выделяется самим Ceph, поэтому создадим его на первом узле:

Передаем образ на случайный IP:

Настройка iSCSI-линка между ПК и Windows

В этой ОС предусмотрена утилита iscsicpl.exe, с помощью которой можно создать линк. Нужно запустить её и перейти на «Конечные объекты». Заполняем поле «Объект» IP-адресом первого узла и кликаем на «Быстрое подключение». Выделяем наш iSCSI-target и линкуемся.

Как только появится новый раздел в diskmgmt.msc, отформатируйте его и поставьте метку Ceph.

В результате, получите следующее:

Тестирование

Каждый из вас может провести свой тест. Здесь нет общей формулы. Главное, убедиться в безотказной работе каждой основной функции по заливке, выкачиванию и удалению данных.

Не лишним будет протестировать работу за счет постепенного отключения узлов, без учета первого, так как только на нем есть iSCSI-target.

Не бойтесь экспериментировать!

Получить ответы на все вопросы и профессиональную консультацию касаемо аренды сервера под 1с предприятие можно обратившись к нам.