1. Статьи
Заметки пользователей
08.11.2010 17:25
PDF
43481
113

Услуга хранения данных в сети Ethernet-провайдера

Услуга хранения данных в сети Ethernet-провайдераБезлимитный инет теперь есть.
Осталось найти безлимитный винт.
(с) bash.org.ru

Каждый, в том числе и небольшой провайдер, задумывается о развитии дополнительных услуг для своих абонентов. Причин может быть несколько – иметь конкурентное преимущество перед другими операторами, получить дополнительную выручку, привлечь и удержать абонентов в сети.

Данная статья посвящена истории запуска услуги хранения данных в сети городского провайдера и освещает один из примеров её технической реализации. Искренне надеемся, что наш опыт окажется полезен коллегам, заинтересованным предложить абонентам новые услуги без значительных затрат.

Идея хранения данных в сети совершенно не является уникальной – в организациях пользователи уже давно привыкли к сетевым папкам для хранения документов, а дома активно используют Интернет-сервисы в стиле rapidshare.com, Яндекс.Диск или Dropbox. С другой стороны становятся популярными домашние сетевые хранилища, которые встречаются у наиболее «продвинутых» абонентов.

Основными движущими факторами для приобретения подобных устройств и услуг являются:

  • растущее потребление информации;
  • необходимость емкости для её хранения;
  • возможность доступа к информации с нескольких устройств.
     

Недостатками Интернет-сервисов для хранения данных являются скорость доступа и время задержки, которые пока не сопоставимы с локальными носителями. В случае с собственным сетевым хранилищем массовый спрос ограничивает стоимость устройства (от 5 до 20 тыс.руб) и необходимые навыки по подключению к домашней сети.

В ходе опроса среди потенциальных потребителей удалось выяснить, что абоненты готовы платить за услугу хранения данных в локальной сети и сценариев её применения находят немало:

  • размещение электронного архива фильмов и музыки;
  • просмотр видео с бытовых устройств, например, Popcorn, IconBIT;
  • размещение резервных копий, в том числе образов дисков целиком для быстрого восстановления;
  • освобождение дискового пространства ПК или ноутбука для повышения производительности;
  • проведение операций видеомонтажа.
     

Как и предполагалось, личные данные абоненты не готовы доверить провайдеру, но в большинстве случаев такой потребности не проявилось - как правило, письма, фотографии, документы занимают немного места и с легкостью помещаются на локальном диске или флеш-накопителе.

В результате исследования сформировалась задача по реализации операторской услуги: предоставить абоненту в аренду дисковое пространство большой емкости и обеспечить к нему скоростной канал. Благоприятными факторами для запуска услуги стала стремительно дешевеющая емкость жестких дисков, а также внутренняя сеть Ethernet-провайдера, позволяющая осуществить доступ к данным на высокой скорости.

Техническая реализация услуги

Итак, задача сформулирована, потребительский спрос выявлен - дело за техническим решением. Кто-то может сказать, что задача решается установкой сервера на Linux/xBSD. Однако, желая более широкого функционала «из коробки» и минимизации времени на конструирование велосипеда, был проведен поиск по готовым программно-аппаратным решениям, согласно следующим требованиям:

  • наличие подробной документации;
  • возможность самостоятельной тонкой настройки;
  • поддержка механизмов интеграции с биллингом;
  • возможность масштабирования системы;
  • наличие русскоязычной тех.поддержки;
  • эффективное соотношение цена/качество.
     

По перечисленным параметрам нас устроила система хранения данных (далее - NAS) американского производителя Netgear. В связи с чем было принято решение о приобретении стоечной модели начального уровня (ReadyNAS 2100) и 4-х жестких дисков по 2 Тб (далее - HDD).

Как выяснили после первого включения, прошивка всей линейки NAS является унифицированной и соответственно функционал практически идентичен, основная разница проявляется в количестве слотов под HDD, резервировании блоков питания и производительности аппаратной платформы.

Прошивка основана на Linux Debian и однозначно порадовало, что в качестве опции предоставляется ssh-доступ с полными правами, открывая широкие возможности по тонкой настройке и интеграции со сторонними системами.

Штатный веб-интерфейс управления вполне успешно справляется с настройкой, поэтому правками конфигураций в консоли старались не злоупотреблять. В качестве примера, когда ручная правка все же потребовалась, можно привести изменение настроек кодировки после чего кириллические имена файлов и папок одного и того же ресурса при доступе по CIFS и FTP стали отображаться корректно.

Полезной особенностью стала поддержка технологии X-RAID2, позволяющей строить отказоустойчивые RAID-массивы с возможностью динамического расширения. Данная особенность является актуальной, т.к. при исчерпании текущей емкости допускается доставить еще один диск без перерыва в оказании услуг.

На базе NAS было решено развернуть 3 вида сетевых ресурсов:

 

«Публичный»

«Файлообменный»

«Персональный»

Назначение

Официальный ресурс провайдера

Обмен файлами между абонентами сети

Личная сетевая папка абонента

Авторизация

Открытая

Открытая

Логин-пароль и/или IP-адрес

Права

Чтение для всех, Запись для модераторов

Чтение/Запись для всех, Удаление для владельца файла

Чтение/Запись для владельца

Протоколы доступа

CIFS (Windows Sharing), FTP, HTTP, AFP, NFS

CIFS, FTP, NFS, AFP

CIFS или iSCSI

Дисковая квота

Нет

Общая для всех

Индивидуальная для владельца

Квота по времени

Нет

Есть, раз в сутки производится очистка ресурса

Нет

Платный доступ

Нет

Нет

Да

В текущей конфигурации из 8 Tб суммарного объема жестких дисков доступно 5,5 Тб «полезной» емкости – из них 100 Гб выделили под общественные ресурсы, а большую часть размером в 5,4 Тб под персональные абонентские.

На «Публичном» ресурсе разместили инструкции провайдера, и каталог свободно распространяемого ПО для работы в сети – браузеры, DC++ клиент, IM-клиенты, антивирусы и пр. Главным преимуществом публичного ресурса стал многопротокольный доступ для клиентских ОС – Windows (CIFS), Mac OS X (AFP), Unix (NFS). Таким образом, никто из абонентов не остался обделен доступом к ресурсу.

«Файлообменный» ресурс предоставил возможность быстрого обмена файлами между абонентами сети. Подобный ресурс уже существовал в сети провайдера и был перенесен на новую единую платформу NAS.

И наконец, «Персональный» ресурс стал реализацией новой услуги, ради которой всё и затевалось. Для предоставления ресурса абоненту заводится учетная запись на NAS, в которой указывается логин, пароль и дисковая квота. Для большей безопасности в настройках службы CIFS прописывается фильтрация по IP-адресу абонента.

Помимо традиционного протокола сетевых дисков CIFS (Windows Share) интересным открытием для нас стала возможность предоставления доступа по протоколу iSCSI. Основное отличие от других протоколов доступа – iSCSI работает на более низком уровне, когда абоненту выделяется удаленный дисковый раздел, который форматируется файловой системой непосредственно на ПК абонента и виден как полноценный локальный диск.

Интеграция в сетевую инфраструктуру провайдера прошла достаточно гладко – все используемые протоколы доступа работают по IP (Layer3), поэтому NAS разместили в серверном сегменте, прописав статический IP-адрес и имя в DNS.

Для отказоустойчивости и балансировки NAS был подключен в серверный коммутатор двумя гигабитными интерфейсами, что обеспечивается поддержкой протокола LACP (Etherchannel), который совместим с большинством коммутаторов.

Услуга хранения данных в сети Ethernet-провайдера
Рис.1 – Интеграция NAS в сетевую инфраструктуру Ethernet-провайдера

Для контроля заполненной емкости, а также температуры HDD система мониторинга настроена на опрос NAS по протоколу SNMP. При возникновении событий, таких как отказ диска или перегрев запускается встроенный в NAS механизм отправки уведомлений на адреса электронной почты администраторов.

Над взаимодействием с биллингом пришлось немного потрудиться. В идеологии используемой системы (LANBilling) для активации дополнительной услуги создается еще одна учетная запись с собственным тарифом. В момент создания учетной записи есть возможность выполнить скрипт с параметрами – логин, пароль, IP-адрес. Таким образом, по ssh создается учетная запись на NAS и генерируется конфигурация Samba на основании заданного шаблона. Блокировка доступа к NAS при отрицательном балансе уже была предусмотрена - биллинг прописывает acl на коммутаторе и абонент, находящийся в минусе, видит только личный кабинет.

Для дальнейшего масштабирования системы хранения данных существует несколько вариантов:

  1. Переход на старшие модели шасси, которые имеют 12 слотов под HDD, поддерживают до 16 Тб «полезной» емкости, а также интерфейс 10 Gigabit Ethernet;
  2. Приобретение еще одного NAS на базе используемой модели и размещение на нем персональных ресурсов новых абонентов;
  3. Переход на HDD большей емкости, которые можно будет установить взамен текущих. Замена HDD реализуется средствами NAS в «горячем» режиме.
     

Коммерческий интерес

Кроме технической стороны рассмотрим также и коммерческую, т.к. она немаловажна при запуске новых услуг. Суммарные затраты на оборудование составили порядка 60 тыс.руб (~$2000) и позволили предложить линейку вполне демократичных тарифных планов. Краткий расчет окупаемости показал срок чуть больше 1 года на 34 абонентах.

Тариф

Кол-во абонентов

Суммарная емкость

Суммарная выручка

100 руб за 100 Гб

24

2400 Гб

2400 руб./мес.

200 руб. за 250 Гб

8

2000 Гб

1600 руб./мес.

300 руб. за 500 Гб

2

1000 Гб

600 руб./мес.

Итого

34

5400 Гб

4600 руб/мес.

55 200 руб/год

Ключевые выгоды, которые получает провайдер при запуске услуги хранения данных:

  1. Конкурентное преимущество Ethernet-провайдера относительно других игроков рынка, особенно «последние мили» которых базируются на менее скоростных технологиях (DSL, 3G);
  2. Дополнительная выручка и повышение ARPU;
  3. Удержание абонентов, пользующихся данной услугой – абонент становится более тесно привязан своими данными к провайдеру и отказаться от них или перенести на другого провайдера ему станет гораздо сложнее, чем просто переключить патч-корд.
     

Подводя итог, отметим, что модель предоставления инфраструктуры провайдера в аренду сейчас набирает популярность, как в корпоративной среде, так и массовом сегменте. В рамках идеологии «облачных вычислений» услуга хранения данных относится к IaaS (Infrustructure as a Service). Как показала практика - предоставление данного вида услуг даже небольшим Ethernet-провайдером является хорошей возможностью отличиться от конкурентов и привлечь внимание новых и существующих абонентов.

Андрей Захаров, менеджер по работе с клиентами компании ВCС по направлению Городские операторские сети.

113 комментариев
Оставлять комментарии могут только авторизованные пользователи
Robot_NagNews
Robot_NagNews

Материал:

Данная статья посвящена истории запуска услуги хранения данных в сети городского провайдера и освещает один из примеров её технической реализации. Искренне надеемся, что наш опыт окажется полезен коллегам, заинтересованным предложить абонентам новые услуги без значительных затрат.

 

Полный текст

Гость evg
Гость evg

так гигабайты или терабайты?

Гость Zverushka
Гость Zverushka

статья порадовала.

однако соглашусь с пердыдущим коментатором еть нюансы :+)

вот два места:

1. "4-х жестких дисков по 2 Гб (далее - HDD)."

2. "из 8 Гб суммарного объема жестких дисков доступно 5,5 Тб «полезной» емкости"

:+)

Гость Zverushka
Гость Zverushka

за грамматику "звиняйте братцы" :+) но смешно вышло :+))

azakharov
azakharov

2 Zverushka:

спасибо за отзыв, нюансы поправлены :-)

 

Кстати возникла идея провести тест-драйв системы на сетях других провайдеров, производитель согласился выдать несколько хранилок на тест, с конфигой подмогу.

 

Коллеги, кому интересно - пишите в личку или на мыло.

 

-

 

С уважением,

Захаров Андрей

team@metroethernet.ru

roling
roling

Не совсем понятна использованная технология - 5,4 Тб вполне может переварить и обычный рейд HDD всавленный в сервер. Понятно что если планируется 100-300 Тб, тогда может и применимо

Saab95
Saab95

А надежность хранения какая?

Куда же делать резервное хранение?

Ведь если берете деньги за услугу и вдруг данные пропадут - кто будет отвечать и как решаются претензии со стороны пользователя?

azakharov
azakharov

2 roling - спасибо за комментарий

 

цитата из статьи:

"Кто-то может сказать, что задача решается установкой сервера на Linux/xBSD. Однако, желая более широкого функционала «из коробки» и минимизации времени на конструирование велосипеда, был проведен поиск по готовым программно-аппаратным решениям"

 

В результате при сопоставимой с сервером цене было существенно сэкономлено время на пуско-наладку системы.

Поддержка софта осуществляется производителем и неожиданный уход сотрудника, который настраивал сервис не приведет к его медленной и мучительной смерти.

 

Касаемо большей емкости есть модель ReadyNAS 4200 с 12 дисками и 10G портом - соответственно 20,5 Тб полезного пространства в RAID-массиве.

По мере подключения услуги абонентами ставится рядом еще одна система хранения, таким образом наращивается емкость и вкладываются финансы по мере спроса от абонентов.

Вложиться в 100-300 Тб систему и ждать N лет, когда она окупится может позволить себе скорее крупный провайдер и технологии там другого класса, чем рассматриваемая в статье.

 

В данном случае технология уместна для провайдера 1-10 тыс.абонентов масштаба района или небольшого города.

 

--

С уважением,

Андрей Захаров

team@metroethernet.ru

Sonne
Sonne

Андрей, рассматривали варианты сделать услугу на базе обычного сервера с установкой собственного дистрибутива?

Я сейчас как раз думаю над такой системой, решаю брать готовое решение или самодельное.

 

 

Вот такая модель не рассматривалась? Она дешевле в полтора раза и не стоечная.

 

http://www.netgear.ru/?page=products/stora...s/rnd4000/index

 

Апдейт

 

По ссылке ReadyNAS NV+ начального уровня, стоимость примерно 12 т.р.

Есть еще ReadyNAS NVX продвинутый, стоимость 20 т.р.

Ваш ReadyNAS 2100 это аналог NVX в юнитовом корпусе стоит 30 т.р.

 

 

Для сравнения собрать аналог NVX и 2100 можно на базе платы Supermicro под Atom 525 c 6 SATA разьемами и двумя интеловскими гигабитами. Если поместить все в корпус Inwin microATX, то можно подключить до 6 SATA дисков.

 

Стоимость получается 7,5 + 2 = 9,5 т.р. за более производительный аналог.

Разница в 2 или 3 раза соответственно.

 

Расплачиваться за это придется гемороем с настройками ПО.

 

 

 

azakharov
azakharov
А надежность хранения какая?

Куда же делать резервное хранение?

Ведь если берете деньги за услугу и вдруг данные пропадут - кто будет отвечать и как решаются претензии со стороны пользователя?

Ответственность за сохранность данных несет провайдер, претензий пока не поступало, хотя винты отказывали.

В целом вопрос с надежностью и отказоустойчивостью системы хранения по сути аналогичен оборудованию сети передачи данных – каждый провайдер решает сам какой уровень надежности он обеспечивает и какие риски при этом несет.

Считаю, что полностью исключить все риски все равно не получится, поэтому давать 100% гарантию было бы нечестно, гораздо лучше сообщить абонентам за счет каких средств услуга обеспечит бОльшую надежность, чем, например, внешний винт или домашний самосборный NAS.

 

В нашем случае отказоустойчивость обеспечивается RAID-массивом, используем X-RAID2. Также в ЗИП лежит жесткий диск для оперативной замены. На шасси системы хранения действует 5-летняя гарантия производителя.

 

Резервное хранение - кому как нравится, на внешний сервер или ленточный накопитель. Хотя чаще всего абоненты сами используют сетевой ресурс как место для бэкапа и хранят на нем копии своих файлов, поэтому делать ли резервное копирование вопрос открытый.

 

Традиционно в сфере провайдинга как только появляются гарантии (SLA и прочее) тут же ценник прирастает в несколько раз и это явно не сегмент домашних пользователей с коллекцией сериалов, которые при худшем раскладе можно заново скачать из Интернета.

 

--

С уважением,

Андрей Захаров

team@metroethernet.ru