Безлимитный инет теперь есть.
Осталось найти безлимитный винт.
(с) bash.org.ru
Каждый, в том числе и небольшой провайдер, задумывается о развитии дополнительных услуг для своих абонентов. Причин может быть несколько – иметь конкурентное преимущество перед другими операторами, получить дополнительную выручку, привлечь и удержать абонентов в сети.
Данная статья посвящена истории запуска услуги хранения данных в сети городского провайдера и освещает один из примеров её технической реализации. Искренне надеемся, что наш опыт окажется полезен коллегам, заинтересованным предложить абонентам новые услуги без значительных затрат.
Идея хранения данных в сети совершенно не является уникальной – в организациях пользователи уже давно привыкли к сетевым папкам для хранения документов, а дома активно используют Интернет-сервисы в стиле rapidshare.com, Яндекс.Диск или Dropbox. С другой стороны становятся популярными домашние сетевые хранилища, которые встречаются у наиболее «продвинутых» абонентов.
Основными движущими факторами для приобретения подобных устройств и услуг являются:
Недостатками Интернет-сервисов для хранения данных являются скорость доступа и время задержки, которые пока не сопоставимы с локальными носителями. В случае с собственным сетевым хранилищем массовый спрос ограничивает стоимость устройства (от 5 до 20 тыс.руб) и необходимые навыки по подключению к домашней сети.
В ходе опроса среди потенциальных потребителей удалось выяснить, что абоненты готовы платить за услугу хранения данных в локальной сети и сценариев её применения находят немало:
Как и предполагалось, личные данные абоненты не готовы доверить провайдеру, но в большинстве случаев такой потребности не проявилось - как правило, письма, фотографии, документы занимают немного места и с легкостью помещаются на локальном диске или флеш-накопителе.
В результате исследования сформировалась задача по реализации операторской услуги: предоставить абоненту в аренду дисковое пространство большой емкости и обеспечить к нему скоростной канал. Благоприятными факторами для запуска услуги стала стремительно дешевеющая емкость жестких дисков, а также внутренняя сеть Ethernet-провайдера, позволяющая осуществить доступ к данным на высокой скорости.
Техническая реализация услуги
Итак, задача сформулирована, потребительский спрос выявлен - дело за техническим решением. Кто-то может сказать, что задача решается установкой сервера на Linux/xBSD. Однако, желая более широкого функционала «из коробки» и минимизации времени на конструирование велосипеда, был проведен поиск по готовым программно-аппаратным решениям, согласно следующим требованиям:
По перечисленным параметрам нас устроила система хранения данных (далее - NAS) американского производителя Netgear. В связи с чем было принято решение о приобретении стоечной модели начального уровня (ReadyNAS 2100) и 4-х жестких дисков по 2 Тб (далее - HDD).
Как выяснили после первого включения, прошивка всей линейки NAS является унифицированной и соответственно функционал практически идентичен, основная разница проявляется в количестве слотов под HDD, резервировании блоков питания и производительности аппаратной платформы.
Прошивка основана на Linux Debian и однозначно порадовало, что в качестве опции предоставляется ssh-доступ с полными правами, открывая широкие возможности по тонкой настройке и интеграции со сторонними системами.
Штатный веб-интерфейс управления вполне успешно справляется с настройкой, поэтому правками конфигураций в консоли старались не злоупотреблять. В качестве примера, когда ручная правка все же потребовалась, можно привести изменение настроек кодировки после чего кириллические имена файлов и папок одного и того же ресурса при доступе по CIFS и FTP стали отображаться корректно.
Полезной особенностью стала поддержка технологии X-RAID2, позволяющей строить отказоустойчивые RAID-массивы с возможностью динамического расширения. Данная особенность является актуальной, т.к. при исчерпании текущей емкости допускается доставить еще один диск без перерыва в оказании услуг.
На базе NAS было решено развернуть 3 вида сетевых ресурсов:
|
«Публичный» |
«Файлообменный» |
«Персональный» |
Назначение |
Официальный ресурс провайдера |
Обмен файлами между абонентами сети |
Личная сетевая папка абонента |
Авторизация |
Открытая |
Открытая |
Логин-пароль и/или IP-адрес |
Права |
Чтение для всех, Запись для модераторов |
Чтение/Запись для всех, Удаление для владельца файла |
Чтение/Запись для владельца |
Протоколы доступа |
CIFS (Windows Sharing), FTP, HTTP, AFP, NFS |
CIFS, FTP, NFS, AFP |
CIFS или iSCSI |
Дисковая квота |
Нет |
Общая для всех |
Индивидуальная для владельца |
Квота по времени |
Нет |
Есть, раз в сутки производится очистка ресурса |
Нет |
Платный доступ |
Нет |
Нет |
Да |
В текущей конфигурации из 8 Tб суммарного объема жестких дисков доступно 5,5 Тб «полезной» емкости – из них 100 Гб выделили под общественные ресурсы, а большую часть размером в 5,4 Тб под персональные абонентские.
На «Публичном» ресурсе разместили инструкции провайдера, и каталог свободно распространяемого ПО для работы в сети – браузеры, DC++ клиент, IM-клиенты, антивирусы и пр. Главным преимуществом публичного ресурса стал многопротокольный доступ для клиентских ОС – Windows (CIFS), Mac OS X (AFP), Unix (NFS). Таким образом, никто из абонентов не остался обделен доступом к ресурсу.
«Файлообменный» ресурс предоставил возможность быстрого обмена файлами между абонентами сети. Подобный ресурс уже существовал в сети провайдера и был перенесен на новую единую платформу NAS.
И наконец, «Персональный» ресурс стал реализацией новой услуги, ради которой всё и затевалось. Для предоставления ресурса абоненту заводится учетная запись на NAS, в которой указывается логин, пароль и дисковая квота. Для большей безопасности в настройках службы CIFS прописывается фильтрация по IP-адресу абонента.
Помимо традиционного протокола сетевых дисков CIFS (Windows Share) интересным открытием для нас стала возможность предоставления доступа по протоколу iSCSI. Основное отличие от других протоколов доступа – iSCSI работает на более низком уровне, когда абоненту выделяется удаленный дисковый раздел, который форматируется файловой системой непосредственно на ПК абонента и виден как полноценный локальный диск.
Интеграция в сетевую инфраструктуру провайдера прошла достаточно гладко – все используемые протоколы доступа работают по IP (Layer3), поэтому NAS разместили в серверном сегменте, прописав статический IP-адрес и имя в DNS.
Для отказоустойчивости и балансировки NAS был подключен в серверный коммутатор двумя гигабитными интерфейсами, что обеспечивается поддержкой протокола LACP (Etherchannel), который совместим с большинством коммутаторов.
Рис.1 – Интеграция NAS в сетевую инфраструктуру Ethernet-провайдера
Для контроля заполненной емкости, а также температуры HDD система мониторинга настроена на опрос NAS по протоколу SNMP. При возникновении событий, таких как отказ диска или перегрев запускается встроенный в NAS механизм отправки уведомлений на адреса электронной почты администраторов.
Над взаимодействием с биллингом пришлось немного потрудиться. В идеологии используемой системы (LANBilling) для активации дополнительной услуги создается еще одна учетная запись с собственным тарифом. В момент создания учетной записи есть возможность выполнить скрипт с параметрами – логин, пароль, IP-адрес. Таким образом, по ssh создается учетная запись на NAS и генерируется конфигурация Samba на основании заданного шаблона. Блокировка доступа к NAS при отрицательном балансе уже была предусмотрена - биллинг прописывает acl на коммутаторе и абонент, находящийся в минусе, видит только личный кабинет.
Для дальнейшего масштабирования системы хранения данных существует несколько вариантов:
Коммерческий интерес
Кроме технической стороны рассмотрим также и коммерческую, т.к. она немаловажна при запуске новых услуг. Суммарные затраты на оборудование составили порядка 60 тыс.руб (~$2000) и позволили предложить линейку вполне демократичных тарифных планов. Краткий расчет окупаемости показал срок чуть больше 1 года на 34 абонентах.
Тариф |
Кол-во абонентов |
Суммарная емкость |
Суммарная выручка |
100 руб за 100 Гб |
24 |
2400 Гб |
2400 руб./мес. |
200 руб. за 250 Гб |
8 |
2000 Гб |
1600 руб./мес. |
300 руб. за 500 Гб |
2 |
1000 Гб |
600 руб./мес. |
Итого |
34 |
5400 Гб |
4600 руб/мес. 55 200 руб/год |
Ключевые выгоды, которые получает провайдер при запуске услуги хранения данных:
Подводя итог, отметим, что модель предоставления инфраструктуры провайдера в аренду сейчас набирает популярность, как в корпоративной среде, так и массовом сегменте. В рамках идеологии «облачных вычислений» услуга хранения данных относится к IaaS (Infrustructure as a Service). Как показала практика - предоставление данного вида услуг даже небольшим Ethernet-провайдером является хорошей возможностью отличиться от конкурентов и привлечь внимание новых и существующих абонентов.
Андрей Захаров, менеджер по работе с клиентами компании ВCС по направлению Городские операторские сети.
Материал:
Данная статья посвящена истории запуска услуги хранения данных в сети городского провайдера и освещает один из примеров её технической реализации. Искренне надеемся, что наш опыт окажется полезен коллегам, заинтересованным предложить абонентам новые услуги без значительных затрат.
Полный текст
так гигабайты или терабайты?
статья порадовала.
однако соглашусь с пердыдущим коментатором еть нюансы :+)
вот два места:
1. "4-х жестких дисков по 2 Гб (далее - HDD)."
2. "из 8 Гб суммарного объема жестких дисков доступно 5,5 Тб «полезной» емкости"
:+)
за грамматику "звиняйте братцы" :+) но смешно вышло :+))
2 Zverushka:
спасибо за отзыв, нюансы поправлены :-)
Кстати возникла идея провести тест-драйв системы на сетях других провайдеров, производитель согласился выдать несколько хранилок на тест, с конфигой подмогу.
Коллеги, кому интересно - пишите в личку или на мыло.
-
С уважением,
Захаров Андрей
team@metroethernet.ru
Не совсем понятна использованная технология - 5,4 Тб вполне может переварить и обычный рейд HDD всавленный в сервер. Понятно что если планируется 100-300 Тб, тогда может и применимо
А надежность хранения какая?
Куда же делать резервное хранение?
Ведь если берете деньги за услугу и вдруг данные пропадут - кто будет отвечать и как решаются претензии со стороны пользователя?
2 roling - спасибо за комментарий
цитата из статьи:
"Кто-то может сказать, что задача решается установкой сервера на Linux/xBSD. Однако, желая более широкого функционала «из коробки» и минимизации времени на конструирование велосипеда, был проведен поиск по готовым программно-аппаратным решениям"
В результате при сопоставимой с сервером цене было существенно сэкономлено время на пуско-наладку системы.
Поддержка софта осуществляется производителем и неожиданный уход сотрудника, который настраивал сервис не приведет к его медленной и мучительной смерти.
Касаемо большей емкости есть модель ReadyNAS 4200 с 12 дисками и 10G портом - соответственно 20,5 Тб полезного пространства в RAID-массиве.
По мере подключения услуги абонентами ставится рядом еще одна система хранения, таким образом наращивается емкость и вкладываются финансы по мере спроса от абонентов.
Вложиться в 100-300 Тб систему и ждать N лет, когда она окупится может позволить себе скорее крупный провайдер и технологии там другого класса, чем рассматриваемая в статье.
В данном случае технология уместна для провайдера 1-10 тыс.абонентов масштаба района или небольшого города.
--
С уважением,
Андрей Захаров
team@metroethernet.ru
Андрей, рассматривали варианты сделать услугу на базе обычного сервера с установкой собственного дистрибутива?
Я сейчас как раз думаю над такой системой, решаю брать готовое решение или самодельное.
Вот такая модель не рассматривалась? Она дешевле в полтора раза и не стоечная.
http://www.netgear.ru/?page=products/stora...s/rnd4000/index
Апдейт
По ссылке ReadyNAS NV+ начального уровня, стоимость примерно 12 т.р.
Есть еще ReadyNAS NVX продвинутый, стоимость 20 т.р.
Ваш ReadyNAS 2100 это аналог NVX в юнитовом корпусе стоит 30 т.р.
Для сравнения собрать аналог NVX и 2100 можно на базе платы Supermicro под Atom 525 c 6 SATA разьемами и двумя интеловскими гигабитами. Если поместить все в корпус Inwin microATX, то можно подключить до 6 SATA дисков.
Стоимость получается 7,5 + 2 = 9,5 т.р. за более производительный аналог.
Разница в 2 или 3 раза соответственно.
Расплачиваться за это придется гемороем с настройками ПО.
Ответственность за сохранность данных несет провайдер, претензий пока не поступало, хотя винты отказывали.
В целом вопрос с надежностью и отказоустойчивостью системы хранения по сути аналогичен оборудованию сети передачи данных – каждый провайдер решает сам какой уровень надежности он обеспечивает и какие риски при этом несет.
Считаю, что полностью исключить все риски все равно не получится, поэтому давать 100% гарантию было бы нечестно, гораздо лучше сообщить абонентам за счет каких средств услуга обеспечит бОльшую надежность, чем, например, внешний винт или домашний самосборный NAS.
В нашем случае отказоустойчивость обеспечивается RAID-массивом, используем X-RAID2. Также в ЗИП лежит жесткий диск для оперативной замены. На шасси системы хранения действует 5-летняя гарантия производителя.
Резервное хранение - кому как нравится, на внешний сервер или ленточный накопитель. Хотя чаще всего абоненты сами используют сетевой ресурс как место для бэкапа и хранят на нем копии своих файлов, поэтому делать ли резервное копирование вопрос открытый.
Традиционно в сфере провайдинга как только появляются гарантии (SLA и прочее) тут же ценник прирастает в несколько раз и это явно не сегмент домашних пользователей с коллекцией сериалов, которые при худшем раскладе можно заново скачать из Интернета.
--
С уважением,
Андрей Захаров
team@metroethernet.ru