Author Topic: Cubietruck как NAS: Выбор системы резервного копирования  (Read 16390 times)

Offline nostromo

  • Jr. Member
  • **
  • Posts: 99
  • Karma: +4/-0
    • View Profile
Собственно, вопрос в теме.
Имеется Cubietruck с Cubian + SATA-диск, который используется в качестве NAS. Теперь вот озадачился резервным копированием.
Возник вопрос: какой инструмент выбрать для этих целей?
Конечно, правильно было бы все попробовать самому, но, полагаю, что на форуме уже есть люди, которые решили для себя этот вопрос и к опыту которых можно прислушаться.
Пока в моей голове бродят следующие мысли:
  • Учитывая, что в NAS на базе Cubietruck много файлов (таких, как торренты), ценность которых относительно сомнительна — делать резервные копии нужно на уровне папок.
  • В качестве места хранения планирую использовать облака. Просмотрел информацию по сети — из бесплатного либо мало места, но с красивостями (красивости типа WebDAV, FTP и прочего), либо чуть больше (mail, mega, box), но с загрузкой только через Web. Поэтому, в случае использования облаков, алгоритм примерно такой: создается основная копия, руками копируется в большого объема облако; последующие копии инкрементные, создаются автоматически и автоматически заливаются через WebDAV и (или) прочие протоколы в место хранения. Разумеется, все резервные копии шифруются.
Таким образом требуется инкрементное резервирование, сжатие, шифрование.
Вот и думаю, что лучше использовать: при помощи стандартных средств типа find и tar создавать что-то свое или воспользоваться специальными инструментами типа dar или bacula, только неизвестно, с какой скоростью это будет работать на Cubietruck и будет ли работать вообще, а также насколько это целесообразно для домашней сети с 2,5 компьютерами  :)?
Поэтому прошу знающих людей поделиться советами (опытом), как лучше организовать систему резервного копирования на Cubietruck.

Offline Раджа

  • Sr. Member
  • ****
  • Posts: 438
  • Karma: +6/-2
  • Разбираюсь в чем попало
    • View Profile
А что мешает примонтировать webdav и тупо туда копировать?
Заткнись и смотри аниме!

Offline nostromo

  • Jr. Member
  • **
  • Posts: 99
  • Karma: +4/-0
    • View Profile
А что мешает примонтировать webdav и тупо туда копировать?

Если говорить о публичных облаках, то, во-первых, провайдеры с поддержкой WebDAV, которых я знаю, места мало бесплатного дают. Во-вторых, это же публичный сервис, стало быть нужно шифровать, а раз шифровать, то простым rsync не отделаешься. Или я чего-то не понимаю?

Я уже ранее писал, какие мысли бродят в голове:
В качестве места хранения планирую использовать облака. Просмотрел информацию по сети — из бесплатного либо мало места, но с красивостями (красивости типа WebDAV, FTP и прочего), либо чуть больше (mail, mega, box), но с загрузкой только через Web. Поэтому, в случае использования облаков, алгоритм примерно такой: создается основная копия, руками копируется в большого объема облако; последующие копии инкрементные, создаются автоматически и автоматически заливаются через WebDAV и (или) прочие протоколы в место хранения. Разумеется, все резервные копии шифруются.

Из того, что прочитал в сети, думаю попробовать dar. На форуме просто спросил, чтобы узнать кто что думает и кто как организовывает резервное копирование, если использует Cubietruck в качестве NAS.
« Last Edit: April 15, 2014, 01:38:34 pm by nostromo »

Offline dntoxa

  • Newbie
  • *
  • Posts: 22
  • Karma: +0/-0
    • View Profile
Наверное очень не в тему, ибо не сильно подходит под требования, но...
Я ушел из дропбоксов в пользу btsync и не жалею. btsync синкает домашний фотоархив между двумя компьютерами и CT и там же (на CT) лежат еще куча синхронизируемых папок -- в данном случае, CT выступает как всегда доступное облако.

Offline nostromo

  • Jr. Member
  • **
  • Posts: 99
  • Karma: +4/-0
    • View Profile
Наверное очень не в тему, ибо не сильно подходит под требования, но...
Я ушел из дропбоксов в пользу btsync и не жалею. btsync синкает домашний фотоархив между двумя компьютерами и CT и там же (на CT) лежат еще куча синхронизируемых папок -- в данном случае, CT выступает как всегда доступное облако.
Хотелось бы организовать резервное копирование с использованием внешнего хранилища, так как мало ли чего. У меня, например, соседка сверху раньше любила воду забывать выключать; соответственно, если оба устройства резервирования будут включены в данный момент, то может быть и усе.

Offline dntoxa

  • Newbie
  • *
  • Posts: 22
  • Karma: +0/-0
    • View Profile
Упсы никто не отменял... Да и современные сетевые фильтры (удлинители с лампочкой под кнопкой) на удивление, уже разок спасали -- он выключался не пропуская перегрузку дальше, не перегорал, а просто выключался.

А если нужно внешнее хранилище -- тогда лучше покупать у провайдера, чьи дата-центры ближе к вам (Яндекс или Дропбокс) и заливать туда шифрованные блобы...

Единственный минус btsync для меня -- отсутствие возможности сделать на одном из устройств только добавление файлов. Т.е. то, что туда упало, там и остается, не удаляется, если удалено на базовой машине. Но это возможно организовать и средствами Linux -- cron, например, может пару раз в день запускать простой шел-скрипт, который забирает файлы из папки, архивирует или даже дописывает в уже существующий архив...

Понятно, что это все велосипедирование, но если нужно коробочное решение, то и нужно покупать готовый NAS с собственным софтом.

Кстати, стоит еще обратить внимание на этот проект: http://seafile.com/en/home/ . Тут вам просто собственный дропбокс + плюшки. И это все не на php, а на C, правда отсюда вытекает необходимость компиляции для Allwinner'а.
« Last Edit: April 16, 2014, 02:07:54 am by dntoxa »

Offline ua3prq

  • Moderator
  • Hero Member
  • *****
  • Posts: 660
  • Karma: +14/-1
    • View Profile
Задумка разумная и может пригодиться многим.

Очень похоже на то, что хотите:
https://blog.serverdensity.com/secure-encrypted-backup-using-duplicity-for-linux-and-mac/
http://www.cyberciti.biz/faq/duplicity-installation-configuration-on-debian-ubuntu-linux/

Софт присутствует в нашем репозитории, проверил. Отпишитесь, если поедет.
« Last Edit: April 17, 2014, 12:12:01 am by ua3prq »

Offline nostromo

  • Jr. Member
  • **
  • Posts: 99
  • Karma: +4/-0
    • View Profile
Решил пока попользоваться dar. На ноутбуке протестировал — понравилось. Есть инкрементное копирование, сжатие, шифрование (правда, только симметричное). Параметры работы можно описывать в файлах конфигурации. Так же можно его запускать с поддержкой par2 (формирует избыточные данные для восстановления в случае возможной порчи исходных файлов).
Работает довольно шустро. С поддержкой par2 — раза в три медленнее при создании копий, но, в целом, приемлемо.
Восстановление произвольного файла осуществляется быстро, правда, процедуру восстановления нужно запускать для каждой инкрементной копии, но это можно в скрипт обернуть и пользоваться.
В репозитории Cubian есть и dar, и par2. Так что здесь все просто.

В общих чертах о том, что такое dar можно почитать здесь: http://habrahabr.ru/post/215449/

А если заинтересовало, то тогда уже официальная документация: http://dar.linux.free.fr/doc/

Offline ua3prq

  • Moderator
  • Hero Member
  • *****
  • Posts: 660
  • Karma: +14/-1
    • View Profile
Спасибо за инфо. Если начну пользоваться облаками для дома, задумаюсь.
« Last Edit: April 17, 2014, 02:23:24 am by ua3prq »

Offline null

  • Full Member
  • ***
  • Posts: 154
  • Karma: +5/-11
    • View Profile
Решил пока попользоваться dar.
Очередной архиватор .
вы решили хранить архивы в формате этой недоделки ?

Offline nostromo

  • Jr. Member
  • **
  • Posts: 99
  • Karma: +4/-0
    • View Profile
Решил пока попользоваться dar.
Очередной архиватор .
вы решили хранить архивы в формате этой недоделки ?

Есть другие предложения? Можно их тогда озвучить.
Что касается dar, то это не совсем архиватор. Собственного модуля архивации у него нет, используются сторонние библиотеки, выбор конкретного способа архивирования и коэффициента сжатия указывается в параметре -z.
А так dar больше 10 лет. Если бы это была хрень, то вряд ли продержалась бы так долго.

Offline nostromo

  • Jr. Member
  • **
  • Posts: 99
  • Karma: +4/-0
    • View Profile
Чтобы придать топику некоторую законченность решил отписаться.
Dar и par2 встали на Cubian без проблем. Затем запустил резервирование порядка 100Гб различных файлов на самом Cubietruck с 5% информацией на восстановление. Крутилось все это примерно 1,5 суток. Как уже и говорил — очень долгая обработка par2. Настройки резервирования, что сжимать, что не сжимать, на какие куски нарезать, чем и как шифровать хранятся в файле конфигурации, который при вызове dar указывается в параметре -B.
Существенного сжатия добиться не удалось, т. к. много резервировалось фото и музыки, что уже и так для большинства форматов хранится в сжатом виде + добавилось 5% информации на восстановление. На выходе примерно те же 100 Гб и получились.
Далее встал вопрос о хранении полной резервной копии. Искал в сети различную информацию об облаках (хотелось обойтись бесплатным). В начале думал подружиться с китайцами и их китайскими терабайтами, но как-то у них все слишком уж куцо. Другим кандидатом был mail.ru со 100Гб. Можно было бы попользоваться, но нет множественного скачивания (при одновременном скачивании нескольких файлов через стандартный Web все сохраняет в архиве, а зачем мне архив 100Гб архива? :) ). В итоге выбор пал на MEGA с 50Гб.  Единственный нюанс данного облачного хранилища — принудительное шифрование (при использовании стандартного клиента — JavaScript в браузере). Соответственно, жрет ресурсов это дело немерено, но все удалось закачать со скоростью примерно 900Кб средствами самого Cubietruck через Iceweasel (на ноутбуке скорость была примерно 1,8Мб).
Можно было бы как-то и облегчить ресурсоемкость заливки на MEGA за счет использования одного из неофициальных консольных клиентов (там используется SDK MEGA на С для этих целей), но под arm архитектуру сборок нет, а компиляцией как-то не хотелось заморачиваться.
Что касается инкрементных копий, то при использовании dar наличие полной копии для их создания не требуется: достаточно из полной копии извлечь список файлов (для моих объемов это чуть меньше 4Мб) и использовать его при создании инкрементных.
С инкрементными копиями все более цивильно, т. к. места они занимают мало: создаются автоматически по заданию cron, затем через rsync заливаются на примонтированный WebDAV-диск (выбрал box.com с его 10Гб, хотя здесь есть много других вариантов типа Yandex.Диск и т.д.).
Вот как-то так.

Offline johndoe_71rus

  • Full Member
  • ***
  • Posts: 242
  • Karma: +3/-1
    • View Profile
Немного о производительности железа
Cubieboard2 + hardware SATA RAID
И вот еще интересная железка eSATA Hardware Port Multiplier
Именно хардваре. Должен подойти для подключения нескольких дисков.
Cubieboard2 / Android 4.2.2 / Cubieez 7.4@3.4.79+patwood

Offline ua3prq

  • Moderator
  • Hero Member
  • *****
  • Posts: 660
  • Karma: +14/-1
    • View Profile
Видел MSG, что Port Multiplier не поддерживается в ядре патвудовском.
Что там JMicron делает внутри? Скорее всего там что-то специально заточенное эмулирует протокол SATA. Сам по себе такой NAS уже гораздо производительнее куби (и наверняка кеширует протокол в тестах через RAM).
У товарища есть Synelogy, там ARM с марвеловским 2-х портовым SATA контроллером. ОС на базе линуха индусская, встроенная плагинная система, все протоколы/торенты/длна 1G-LAN и прочее. В сторону кубиков и смотреть не хочет- оно и понятно, специально заточенная железка, без возможностей "наших" экспериментов, но и ценник соответствующий (опять же- посмотрел на его внешний крохотный БП и вертикальное расположение HDD, как то передернуло).
« Last Edit: April 25, 2014, 04:08:56 am by ua3prq »

Offline johndoe_71rus

  • Full Member
  • ***
  • Posts: 242
  • Karma: +3/-1
    • View Profile
Видел MSG, что Port Multiplier не поддерживается в ядре патвудовском.
Так есть Multiplier которым это не надо. наружу они одним устройством прикидываются. вся внутренняя работа их личное дело.
Cubieboard2 / Android 4.2.2 / Cubieez 7.4@3.4.79+patwood