Эшелонированные сети 5G как базовый элемент цифровизации отраслей. Воздушно-космическая сеть распределенных вычислений (MEC).

Успешная цифровизация отраслей требует коренного изменения принципов построения сетей и вычислительных узлов и применения очень смелых, нестандартных, граничащих с фантастикой технических и экономических решений.

Проведенное J’son & Partners Consulting исследование обосновывает необходимость одного из таких решений – разработки и развертывания эшелонированных сетей распределенных вычислений нового поколения, простирающихся от поверхности Земли до космического пространства. Это на первый взгляд совершенно фантастическое направление является, как ни странно, единственным экономически обоснованным способом обеспечения характеристик, требуемых цифровизацией от ИКТ-инфраструктуры.

Эшелонированные сети распределенных вычислений с программным управлением

Существующие сети не позволяют ответить на вопрос - каким образом можно обеспечить окупаемое развертывание сетей, соответствующих требованиям индустриальных применений – как по объему, QoS, SLA и цене, так и по географии покрытия.

Обеспечить покрытие больших территорий, высокую доступность и при этом низкую удельную стоимость передачи и обработки данных можно только объемными (эшелонированными) сетями. Такие сети включают в себя не только наземный, но и воздушный низковысотный и стратосферный эшелоны, космический низко- и геостационарный эшелоны. Они используют единую программную оркестрацию, то есть действуют как единая программно-управляемая сеть, а не как набор разрозненных сетей (Рис. 1).

Более того, такие сети не только осуществляют передачу данных, но и производят вычисления над ними в узлах сети. Это означает, что вычислительные мощности (multi-tenancyedgecomputing, MEC) должны располагаться не только на земле, но и в воздухе, и в космосе, а узлы такой сети – распределенного ИКТ-облака, должны быть комбинированными сетевыми и вычислительными узлами.

Эшелонирование необходимо для того, чтобы обеспечить для территориально-распределенных кибер-физических систем существенно более одной конфигурации сквозного сетевого слоя, при которых достигаются требуемые кибер-физической системой технические характеристики. Это позволит системе управления в каждый момент времени выбирать наименее дорогостоящую из допустимых конфигураций слоя, обеспечивающих требуемые кибер-физическими системами характеристики.

В настоящее время идет быстрое наращивание космической группировки. В дополнение к геостационарным спутникам, традиционно выступающим основой спутниковой связи, формируется новый сегмент – низкоорбитальных спутниковых группировок. Так, усилиями SpaceX на низкую орбиту (550 км) уже выведены более 800 спутников Starlink, оснащенных активной фазированной антенной решеткой (АФАР). Технология обеспечивает скорость 100 Мбит/с и выше на абонента в обоих каналах (UL и DL). Ожидается, что количество спутников в группировке Starlink вырастет до 12 тыс. к середине 2020-х годов.

SpaceX рассчитывает на получение 30 млрд. долл. ежегодной выручки от оказания услуг связи на базе этой группировки. Но эти цифры просто меркнут на фоне потенциального объема выручки от услуг на базе перспективных программно-управляемых сетей распределенных вычислений в целом, одним из эшелонов которой являются низкоорбитальные спутниковые группировки. Так, уже по состоянию на 2019 год, по оценке J’son&PartnersConsulting, потенциал составлял 250 млрд. долл., а в 2030 году он может достигнуть 1,4 трлн. долл. (Рис. 2), или 85% от существующего рынка услуг связи в мире (1,6 трлн. долл.). В России этот потенциал может составить 2,3 млрд. долл. в 2030 году.

Платформы для низковысотного атмосферного сегмента находятся в стадии высокой производственной готовности. В основном, это небольшие дроны тяжелее воздуха и привязные аэростаты – уже опробованные и серийно выпускаемые платформы. Причем последние могут быть и носителями MEC.

Наибольшую сложность и инновационность представляет из себя стратосферный сегмент. Он очень важен, поскольку занимает промежуточное положение между спутниковой и низковысотной группировкой. Стратосферные платформы, как и привязные аэростаты, могут быть носителями MEC, чего не могут низкоорбитальные спутники (масса спутника Starlink лишь около 250 кг). То есть без стратосферного сегмента возникает большой разрыв по задержке между MEC на поверхности Земли и на низковысотных привязных аэростатах, и геостационарными спутниками. При размещении вычислительных узлов на стратосферных платформах задержка между абонентом на поверхности Земли и платформой не превышает 5 мс, что позволяет реализовывать наиболее требовательный индустриальный 5G-кейс URLLC даже при полном отсутствии наземного сегмента.

Стратосферный сегмент может быть сформирован платформами трех типов – геостационарными дирижаблями, самолетоподобными аппаратами тяжелее воздуха и управляемо дрейфующими в стратосфере аэростатами. Первые два типа платформ сложнее в части обеспечения автономного энергоснабжения двигательной установки, третий тип – в части технологии управления сетью, поскольку ее узлы подвижны и лишь частично управляемы.

Как следует из публикации «Долговременные стратосферные платформы связи и наблюдения. Новый этап развития» (Герасимов А.В. и соавторы), проблему управляемых длительных полетов в стратосфере пытаются решить уже более 30 лет. Изначально основной задачей стратосферных управляемых платформ было обеспечение ситуационной осведомленности для систем сетецентрического управления боевыми действиями, а источником финансирования работ выступал оборонный бюджет США. Среди таких проектов условного «первого поколения» можно отметить проекты Hi-Sentinel, HALE-D, ISIS и ряд других, из них летали только Hi-Sentinel и HALE-D.

Первым шагом к созданию стратосферных дирижаблей военного и двойного назначения стал проект HiSentinel («высотный стражник»); его основные характеристики представлены в Таблице 1. В ходе своего первого полета в 2005 году (Рис. 3) «HiSentinel 20» достиг высоты более 74 тыс. футов (22 555 км), причем из 5 часов полета только 1,5 часа были в управляемом режиме (с работающими двигателями). Данный полет был очень важен для всех программ создания разведывательных стратосферных дирижаблей, поскольку продемонстрировал принципиальную возможность достижения дирижаблем столь большой высоты и нахождения там в управляемом полете. Стоит отметить, что на момент запуска в 2005 году «HiSentinel 20» был лишь вторым дирижаблем за всю историю их создания, осуществившим управляемый (с использованием двигателя) полет в стратосфере. Задачей следующих полетов было продемонстрировать возможность осуществления многодневного полета в стратосфере под управлением автопилота и с использованием электродвигателей, питаемых от солнечных батарей. Это привело к росту размеров и массы аппарата, и, как следствие, к снижению потолка. Так, «HiSentinel 80» поднялся лишь на 60 тыс. футов в 2010 году, а полет длился 8 часов вместо запланированных 24-х (в ходе полета произошел сбой в работе двигательной установки). Отдельно стоит отметить, что автоматический режим управления полетом не был реализован не только на стратосферных, но и на низковысотных дирижаблях. Так, оказалось неработоспособным программное обеспечение системы управления полетом дирижабля BlueDevil.

Другим знаковым стратосферным проектом был проект HALE-D (Таблица 2). Головной исполнитель – LockheedMartin, пошив оболочки - ILCDover, заказчик - Командование космической и противоракетной обороной вооруженных сил США (ArmySpaceandMissileDefenseCommand’s, SMDC), группа, ведущая программу «Высотный дирижабль» (High-AltitudeAirship, HAA). Создание прототипа (демонстратора) с продолжительностью полета не менее 2 недель на высоте 18,5 км было завершено в 2011 году. Его задачей было продемонстрировать в полете на большой высоте работоспособность ряда ключевых для программы технологических решений, таких как тонкопленочные массивы солнечных батарей, регенерируемая система электропитания, двигательная установка, канал передачи данных для дистанционного управления аппаратом.

Первый и единственный полет прототипа (HALE-D) был выполнен ранним утром 27 июля 2011 года, старт состоялся в 5-47 утра, экстренная посадка – спустя всего 3 часа, в 8-26 утра. В ходе полета возникли технические проблемы при наборе высоты, подъем выше 10 км оказался невозможен. Как только это стало понятно, было принято решение увести аппарат в малонаселенную местность и приземлить его там. По словам представителей Локхид Мартин, за 3 часа полета удалось продемонстрировать работоспособность ключевых систем дирижабля, включая взлет и дистанционное управление аппаратом, работу линий связи, двигательной установки, выработку электроэнергии солнечными батареями. Так же как и проект Hi-Sentinet, проект HALE-D продолжения не имел.

Основная причина отсутствия в настоящий момент действующих стратосферных платформ, несмотря на более чем 20 лет их разработки, состоит в низком уровне готовности ключевых технологий, среди которых:

- Аккумуляторы с характеристиками, на порядок превосходящими существующие.

- Легкие и безопасные системы электропитания на топливных элементах.

- Легкие тонкопленочные солнечные батареи с высоким КПД.

- Системы автоматического управления полетом аппаратами легче воздуха.

- Высокоэффективные средства беспроводной связи и радары.

- Технологии обработки больших объемов данных в режиме реального времени.

Затраты на доведение этих технологий до состояния высокой степени готовности оцениваются в десятки миллиардов долларов, что на два порядка превосходит объем уже сделанных инвестиций в эти проекты со стороны оборонного бюджета США. Более того, даже в случае выделения необходимого объема средств производство соответствующего оборудования малыми партиями делает его чрезвычайно дорогостоящим, что сводит на нет потенциальные преимущества стратосферных платформ как разведывательных систем с низкой себестоимостью получения информации.

Индустриальные (отраслевые) применения 5G, для которых, как было сказано выше, нужны воздушные и космические эшелоны в дополнение к наземному, дают возможность профинансировать создание коммерческих стратосферных платформ.

Головные исполнители по военным программам создания стратосферных платформ военного назначения – корпорации LockheedMartin и NorthropGrumman, а также их основные подрядчики, выразили высокую заинтересованность в участии в программах создания стратосферных платформ двойного назначения, которые могут быть использованы как в военных, так и в коммерческих и научных целях. Также свою заинтересованность в участии заявили ведущие университеты США и американское космическое агентство NASA.

Среди разрабатываемых в настоящее время проектов создания стратосферных платформ можно упомянуть следующие:

- Американский проект StratosphericPlatformStation (STRAPS) компании ElefanteGroup с участием LockheedMartin для обеспечения беспроводной связью на скорости до 1 Тбит/с на абонента в радиусе 70 км от платформы на частотах 21-28 ГГц, осуществляемого во взаимодействии с наземной сетью 5G на частотах 71-86 ГГц и со спутниковой группировкой.

- Европейский проект стратосферного дирижабля двойного назначения Stratobus, развиваемый консорциумом высокотехнологичных компаний во главе с ThalesAleniaSpace.

- Проект стратосферного дрона AirbusZephyr, способного нести различные виды полезной нагрузки, включая базовые станции 5G.

- Проект стратосферного дрона Odysseus, реализуемый дочерней компанией BoeingAurora.

Общая проблема этих и других похожих проектов в том, что они находятся на стадии опытно-конструкторских работ и/или начальной стадии испытаний прототипов. То есть они не летают регулярно. Соответственно, отсутствует опыт построения действующих сетей связи с использованием таких платформ и отсутствует программное обеспечение для управление такими сетями.

Проект Google Loon – это единственный проект, принципиально отличающийся в выгодную сторону от перечисленных выше. В его рамках накоплен семилетний опыт управления платформами и сетями, которые они образуют, а «налет» превышает 1 млн часов.

Причина успеха – в трезвой оценке готовности технологии, в результате которой было принято решение об упрощении платформ, за которое «заплатили» усложнением системы управления, то есть усложнением программного обеспечения, на разработке которого как раз и специализируется Google.

Платформы проекта Loon – это не имеющие двигателей аэростаты, управление полетом которых осуществляется изменением высоты их полета (в стратосфере на различных высотах направление ветров отличается). Частично пожертвовав управляемостью местоположением платформ, что позволило снять препятствия в виде неготовности технологий энергообеспечения, разработчики Google получили возможность практической отработки чрезвычайно сложной системы управления, позволяющей выдерживать QoS в условиях, когда и абонент, и узлы сети подвижны. Доведение до уровня производственной готовности технологий энергообеспечения позволит применить эту систему управления и для более простых в управлении сетей узлы которых образованы геостационарными стратосферными дирижаблями.

Несмотря на закрытие проекта Loon в январе 2021 года, компанией Alphabet уже объявлено, что разработанные в ходе реализации этого проекта прорывные технологии будут использованы в других проектах, в том числе сторонних разработчиков.

Подчеркнем, что подвижность узлов сети распределенных вычислений, являющихся одновременно и вычислительными узлами, то есть подвижность инстансов серверной части приложений, размещенных в этих узлах, требует беспрецедентной сложности алгоритмов оркестрации. Она может быть разработана только путем многолетних испытаний, по аналогии с тем как разрабатывается программное обеспечение для автоматического управления автомобилями: «обвешенные» лидарами и камерами обычные автомобили ежедневно «накручивают» тысячи километров по улицам городов, и так на протяжении многих лет. Это совершенно не значит, что именно так будут выглядеть серийные образцы автоматических автомобилей, но такой подход позволяет разработать серийные образцы наиболее сложной их части – системы управления.

Отметим также, что эшелонированное построение сетей распределенных вычислений уже зафиксировано в стандарте 5G, но ввиду запредельной новизны – пока на уровне технических отчетов (TR), а не спецификаций (TS).

Не надо бояться сложности задач – эта сложность создает рабочие места

Этих денег более чем достаточно для решения самых сложных и амбициозных задач, включая задачу разработки и развертывания эшелонированых сетей распределенных вычислений со сквозной программной оркестрацией.

Социальный аспект

Важным является не только экономический эффект от цифровизации отраслей, но и связанный с ним социальный аспект – подключение к высокоскоростным сетям образовательных и лечебно-профилактических учреждений (ЛПУ), малых населенных пунктов в рамках федерального проекта по внедрению универсальных услуг связи (УУС) и устранению «цифрового неравенства» (УЦН). Несмотря на значительные средства выделенные на эти цели, эффект для конечных потребителей оставляет желать лучшего:

- Сетевое покрытие Wi-Fi в малых населенных пунктах обеспечивается в радиусе всего лишь около 100 м от точки доступа (расположена, как правило, около здания почтового отделения или местного органа власти) и не охватывает значительное число домохозяйств, распределенных на достаточно большой территории.

- Заявленная скорость передачи данных обозначена как «не менее 10 Мбит/с», что явно не соответствует современным требованиям к пропускной способности.

Покрытие и емкость сетей мобильной связи в малых населенных пунктах также оставляет желать лучшего, т.к. операторам в большинстве случаев невыгодно инвестировать в развитие таких сетей с экономической точки зрения. Не спасают и существующие спутниковые технологии, основными недостатками которых являются высокая стоимость оборудования и тарифов на связь, а также необходимость привлечения для подключения квалифицированного персонала.

Таким образом, используемые в рамках проекта по УУС и УЦН технологии, а также существующие технологии мобильной и спутниковой связи не позволяют в полной мере достичь основных целей этого проекта: дать возможность жителям сел наравне с горожанами оперативно получать информацию, дистанционно учиться и работать, общаться в социальных сетях и мессенджерах, пользоваться порталом госуслуг и услугами телемедицины.

Альтернативой используемым технологиям подключения могли бы стать рассмотренные выше эшелонированные сети связи, которые позволили бы обеспечить покрытие на обширной территории с приемлемой скоростью доступа и качеством услуг.

Инерционный сценарий

Рассмотрение инерционного сценария – обязательная составляющая разработки стратегий развития. Он показывает, что будет, если оставить «все как есть» и не пытаться интенсифицировать процессы цифровизации отраслей и создания необходимой для этого ИКТ-инфраструктуры нового поколения.

Инерционный сценарий применительно к цифровизации экономики России целесообразно рассматривать на фоне глобальной экспансии Китая – одного из двух мировых лидеров в разработке и применении технологий сетей нового поколения. Эта страна - не единственная, ставящая перед собой чрезвычайно амбициозные научно-технические задачи, но единственная из них, обладающая населением, достигающим 1,4 млрд. человек.

До недавнего времени Китай шел по классическому пути индустриализации, который предполагает переток населения из сельской местности в крупные города, являющиеся основными промышленными и научными центрами, а также центрами торговли и услуг. В результате в Китае построены десятки городов с населением более 10 млн. человек, расположенные на крайне ограниченной территории и характеризующиеся сверхвысокой плотностью населения («человейники»). Как покрыть такие города сетями связи и обеспечить окупаемость инвестиций – понятно.

Но как было сказано выше, цифровизация меняет эту парадигму. Цифровая промышленность является распределенной, а потребление не требует сверхвысокой концентрации населения, и тоже становится распределенным. Уже на начальном этапе цифровизации в городах формируется нетто-убыток от цифровизации, поскольку основа ВРП крупных городов - торговля и сфера услуг, которая генерирует чистый убыток от цифровизации, а индустрии, в которых цифровизация нетто-прибыльна, не видят никаких причин оплачивать эти убытки. Очевидно, что в ближайшие десятилетия городские агломерации мега-размера начнут «рассасываться».

В цифровой экономике наиболее рациональным будет равномерное расселение населения, но при этом обладающее всеми преимуществами городского с точки зрения доступа к благам цивилизации, включая доступность ИКТ-инфраструктуры.

Глобальная пандемия COVID-19, начавшаяся именно с Китая, интенсифицирует процессы формирования более равномерного распределения населения индустриально и научно-технически развитых стран. Экстремально высокая плотность населения в городских агломерациях в сочетании с интенсивным транспортным сообщением между ними формирует идеальную среду для распространения инфекционных заболеваний. Без изменения парадигмы централизованного проживания эффективная борьба с распространением эпидемий в принципе невозможна, также как невозможно и улучшение экологической обстановки, крайне неблагополучной в крупных городах Китая.

Наряду с соответствующей инфраструктурой, для равномерного расселения при условии обеспечения высокого уровня жизни нужны большие пространства с приемлемым для жизни умеренным климатом, а таким мест на планете относительно немного. Так, расселение одного города с населением 20 млн. человек и плотностью 10 тыс. человек на 1 кв. км, занимающего 2 тыс. кв. км, потребует территории не менее 20 тыс. кв. км, чтобы снизить плотность до уровня пригородов, застроенных низкоэтажным индивидуальным жильем (около 1 тыс. человек на 1 кв. км). Отметим, что в основном именно в таких построенных «с нуля» низкоэтажных населенных пунктах проживают относительно недавно обосновавшиеся в США высокоплачиваемые программисты из других стран, преимущественно из Индии, население которой также приближается к 1,4 млрд. человек.

Ввиду постоянного роста населения Китая собственной территории этой страны, большая часть которой представляет из себя малопригодные для комфортного проживания территории, уже будет недостаточно. Нетрудно заметить, что пригодными для расселения местами являются: вся европейская часть России до Урала, Южный и Средний Урал, южная часть Западной и Восточной Сибири и большая часть Дальнего Востока.

То есть в дополнение к уже имеющей место торговой и финансовой экспансии Китая в инерционном (для России) сценарии будет добавляться и технологическо-инфраструктурная экспансия Китая. Она может быть связана с новым освоением брошенных уехавшими в города коренным населением пространств с использованием цифровых технологий и принципов построения цифровой экономики. То есть в инерционном сценарии Китай будет привносить свои технологии на осваиваемые территории вместе с китайцами, которые и будут эти технологии внедрять и развивать. Но все таких будет намного лучше если мы сделаем это сами и 13,3 млн рабочих мест будут созданы в России для ее граждан.