Сложности использования только выделенных ОВ состоят в следующем:

• ограничения на допустимую длину ВОК между устройствами без переприемов;
• лимитированное число ОВ в ВОК, замена существующих ВОК на ВОК с большим числом ОВ или прокладка дополнительных ВОК только для каналов РЗА не всегда экономически оправдана, в том числе из-за технических сложностей;
• при необходимости резервирования часто сложно найти две географически разнесенные трассы ВОК допустимой длины даже для коротких ЛЭП, резервирование по географически не разнесенным ВОК практически теряет смысл.

При использовании ЦСПИ, оборудование РЗА подключается к мультиплексорам SDH/PDH по синхронным интерфейсам G.703.1, X.21, E1 и C37.94. К цифровым каналам существующих систем РЗА предъявляются требования по задержке, ее симметрии и т.д. [2]. В перспективных системах РЗА, например, системах мониторинга переходных режимов (СМПР), системах Wide Area Monitoring, Protection and Control (WAMPAC), цифровых подстанциях, цифровые каналы необходимы для передачи IP/Ethernet трафика. При этом крайне важным является обеспечение не только требуемой пропускной способности, но и высокой надежности каналов РЗА по ЦСПИ.

Сети SDH/PDH

В мультиплексорах сетей SDH/PDH осуществляется инкапсуляция данных с интерфейсов пользователей в виртуальные контейнеры определенного объема, которые непрерывно передаются друг за другом [1], что обеспечивает надежную передачу данных с малой детерминированной задержкой и без какого-либо взаимного влияния между разными каналами. Оборудование сетей SDH/PDH поддерживает традиционно используемые в электроэнергетике протоколы и интерфейсы. Например, низкочастотные каналы для телефонии реализованы на базе импульсно-кодовой модуляции (ИКМ) [1], что делает возможным подключение оборудования с сигнализацией аппаратуры дальней связи электроэнергетики (АДАСЭ) и модемов телемеханики (ТМ) с частотной манипуляцией (ЧМ) для передачи данных по протоколам ТМ-800, ГРАНИТ и др..

В мультиплексорах SDH/PDH пакетный трафик с помощью стандартизированной технологии Ethernet over SDH (EoS) [1] инкапсулируется в отдельные виртуальные контейнеры, что обеспечивает его полную изоляцию от всех других каналов и гарантирует заданную пропускную способность. При этом могут быть организованы различные схемы каналов. Например, как показано на рис. 1, для Приложения 1 с интерфейсами Fast Ethernet (FE) или Gigabit Ethernet (GbE) организован полностью изолированный от всех других канал Ethernet с гарантированной пропускной способностью. Таким образом, сети SDH/PDH позволяют не только полностью изолировать корпоративный и технологический пакетные трафики, но и при необходимости в технологической зоне реализовать отдельные независимые каналы с гарантированной пропускной способностью для разных технологических систем.

Пакетный трафик часто неравномерно распределен по времени и имеет пульсирующий характер. При этом неэффективно выделять для одного приложения, особенно с малой активностью, отдельный канал, т.к. большую часть времени он будет «простаивать». В данном случае несколько приложений могут использовать один канал со множественным доступом, например, как Приложение 2 и Приложение 3 на рис. 1. Здесь между тремя мультиплексорами организованы общие каналы Ethernet для высокоприоритетного Приложения 2 и низкоприоритетного Приложения 3, а не полностью изолированные, как для Приложения 1. Следует отметить, что изначально протокол Ethernet предназначен только для древовидных топологий сетей и не предполагает замкнутых контуров, пример чего показан на рис. 1. Для их исключения используют протоколы, обеспечивающие только один активный путь между устройствами при наличии нескольких физических. В канале со множественным доступом между разными пользователями всегда есть взаимное влияние. Если высокоприоритетный трафик займет всю полосу канала, то низкоприоритетный передаваться не будет. Низкоприоритетный трафик также будет оказывать влияние на передачу высокоприоритетного, например, вносить дополнительную задержку и увеличивать джиттер.

Резервирование – один из способов повышения надежности цифровых каналов. При отказе линии связи между мультиплексорами сети SDH/PDH в зависимости от ее масштаба и топологии обеспечивается переключение каналов на резервные пути за время до 50 мс (рис. 2), что недопустимо много для ряда существующих систем РЗА. Такие прерывания незначительно повлияют на общий коэффициент готовности канала, но отказы линий связи могут быть коррелированны с аварийными ситуациями в энергосистемах. Поэтому при резервировании синхронных каналов РЗА в них используются статические (фиксированные) пути через разные линии связи (рис. 3). При отказе одного из путей работа устройств РЗА продолжается по другому и не зависит от переключений в сети.

Существует два варианта резервирования работы устройств РЗА по статическим путям:

• устройства РЗА работают по основному каналу и при его отказе за время меньшее, чем обеспечивают механизмы резервирования сетей SDH/PDH, переключаются на резервный;
• устройства РЗА параллельно передают данные по основному и резервному каналам и параллельно принимают их, при отказе одного из путей работа непрерывно продолжается по другому, что обеспечивает бесшовное резервирование с нулевым временем переключения.

В перспективных системах РЗА бесшовное резервирование Ethernet каналов по ЦСПИ более актуально, чем синхронных каналов в существующих системах. В существующих системах РЗА возможно резервирование с использованием высокочастотных (ВЧ) каналов (например, установка двух УПАСК: один работает по ВЧ каналу, другой по ЦСПИ). В ряде перспективных систем такой возможности нет, т.к. использование в них цифровых ВЧ каналов крайне затруднительно.

Для бесшовного резервирования Ethernet каналов в сетях SDH/PDH необходимы специальные протоколы, что описано ниже.

Сети IP/Ethernet

Использование сетей на базе коммутаторов Ethernet и маршрутизаторов IP/Ethernet для каналов РЗА ограничено сложностями организации в них основного и резервного каналов по статическим путям с заданными стабильными задержками и пропускными способностями. Как ранее уже отмечалось, сама природа протокола Ethernet не предполагает наличия замкнутых контуров в сети, тем самым запрещая построение резервных каналов. Классический подход для разрешения данного противоречия – использование специальных протоколов, которые обеспечивают наличие только одного активного пути между устройствами при физическом наличии нескольких. Так Rapid Spanning Tree Protocol (RSTP) основан на мониторинге линий связи в сетях с произвольной топологией, обнаружении их неисправности и, в случае нарушения активного пути, переключении на один из доступных резервных путей [1]. При этом время переключения с одного пути на другой составляет порядка 1 с и более, что неприемлемо для РЗА. При использовании RSTP в кольцевых топологиях достигается время переключения порядка 100 мс, что также недопустимо много. Для кольцевых топологий был разработан Media Redundancy Protocol (MRP) [3], который позволяет обеспечить время переключения 10…200 мс в зависимости от числа коммутаторов, но обеспечение требуемого бесшовного резервирования с нулевым временем переключения с активного пути на резервный для него не достижимо.

Используемые в сетях IP/Ethernet протоколы маршрутизации более высокого уровня, например, Routing Information Protocol (RIP) или более совершенный Open Short Path First (OSPF) имеют еще большее время сходимости при выборе нового пути даже по сравнению с RSTP (десятки секунд в зависимости от топологии и масштаба сети) [1].

Для обеспечения бесшовного резервирования необходим другой подход, реализованный в Parallel Redundancy Protocol (PRP) и High-availability Seamless Redundancy (HSR) [4], которые используют не один активный путь, а два. Основа данного подхода – отправитель посылает одновременно пакетные данные по двум активным путям, а получатель с помощью протокола резервирования принимает первый пришедший пакет и отклоняет второй. Такой подход позволяет обеспечить практически нулевое время восстановления при отказе одного из активных путей, если задержка в них примерно одинакова. PRP использует две параллельные независимые сети с произвольной топологией. В случае отказа пути в одной из сетей данные будут передаваться по другой. HSR предназначен только для кольцевых топологий. В нем данные параллельно отправляются в двух направлениях по и против часовой стрелки, организуя по кольцу два активных пути. В случае обрыва кольца в одном месте, данные до получателя будут приходить по оставшемуся работоспособному активному пути.

Следует отметить, что все указанные выше протоколы не могут обеспечить гарантированные пропускные способности каналов, что необходимо для РЗА.

В тоже время с использованием PRP и EoS в сетях SDH/PDH можно организовать полностью изолированные от других Ethernet каналы для систем РЗА с гарантированной пропускной способностью и бесшовным резервированием по статическим путям (рис. 4).

Устройство резервирования PRP Redundancy Box (RedBox) обеспечивает реализацию Ethernet канала с бесшовным резервированием по статическим основному и резервному путям в сети SDH/PDH. В данном случае PRP использует не две отдельные независимые сети Ethernet, а два изолированных Ethernet канала в сети SDH/PDH по статическим путям с гарантированными пропускными способностями. В настоящее время наблюдается тенденция реализации PRP в новом оборудовании РЗА.

Переход к технологиям пакетной коммутации

На данный момент времени организация передачи пакетного трафика и других данных по сетям SHD/PDH удовлетворяет потребностям электроэнергетики и позволяет организовывать высоконадежные каналы как для существующих, так и перспективных систем РЗА. С развитием активно-адаптивных сетей, в том числе и с возобновляемой распределенной генерацией, доля пакетных данных в ЦСПИ электроэнергетики будет возрастать. Возможно, что при этом эффективность использования потенциально доступной пропускной способности сетей SDH/PDH будет падать и возникнет необходимость поиска решений на базе других технологий. Объективных исследований данного вопроса применительно к существующим и перспективным системам электроэнергетики с учетом их специфики в настоящее время нет.

Но уже сегодня для электроэнергетики предлагаются решения на базе используемых у операторов связи технологий пакетной коммутации. Иногда позиционируется, что каналы для всех систем электроэнергетики, включая РЗА, станут лучше и эффективней, чем в сетях SDH/PDH. Аргументация такова: если у операторов связи лучше и эффективнее, то так должно быть и в любых технологических системах. При этом совершенно не учитываются:

• требования по надежности каналов (прерывание некоторых сервисов для пользователей сетей операторов связи на секунды и даже десятки секунд не очень критично);
• требования к задержке в каналах РЗА, ее стабильности и ее симметрии [2];
• цикл реконструкции объектов в электроэнергетике значительно превышает время жизни устройств абонентов операторов связи, что приводит к необходимости поддержки традиционно используемых интерфейсов и протоколов в уже эксплуатируемых оборудовании и системах (например, в отличие от ИКМ технология Voice over IP (VoIP) не поддерживает передачу сигналов АДАСЭ и модемов с ЧМ);
• проблемы обеспечения информационной безопасности (ИБ);
• неопределенность границ применения различных технологий и протоколов пакетной коммутации при организации каналов технологической зоны;
• отсутствие принципов построения каналов РЗА по сетям с пакетной коммутацией;
• отсутствие методик испытаний каналов, использующих различные технологии и протоколы пакетной коммутации, как каналов технологической зоны (например, в отличие от сетей SDH/PDH, где взаимное влияние между каналами отсутствует, здесь необходимо проверять работу высокоприоритетных каналов с высокими требованиями к надежности при штормовых нагрузках в сети);
• неготовность энергопредприятий, в том числе служб РЗА, к эксплуатации решений на базе новых технологий (отсутствие подготовленного персонала, приборов и т.д.).

Мультиплексоры с гибридной системной платой

Организация каналов РЗА при передаче большого объема пакетного трафика может быть реализована с использованием мультиплексоров с гибридной системной платой (рис. 5) с двумя шинами: TDM и Ethernet, например, MileGate/FOX615 компании KEYMILE/ABB, BroadGate компании ECI и т.д.. Данное устройство представляет собой SDH/PDH мультиплексор (шина TDM) и Ethernet/IP коммутатор/маршрутизатор (шина Ethernet) с функцией межсетевого обмена. Соответственно пакетный трафик передается через шину Ethernet, а данные синхронных интерфейсов через шину TDM.

Недостатки данного решения:

• увеличение затрат на инфраструктуру: или удвоение числа ОВ в ВОК между объектами, или использование технологии Wave Division Multiplexing (WDM), или установка оборудования Optical Transport Network (OTN);
• по сравнению с построением отдельных сетей SDH/PDH и сетей с пакетной коммутацией:
• ограниченная функциональность,
• увеличение себестоимости в ряде проектов,
• меньшая надежность и безопасность.

Операторы связи рассматривают данное решение как промежуточное при миграции от SDH/PDH к технологиям пакетной коммутации, экономические и технические перспективы которого крайне сомнительны.

Сети MPLS

Технологии пакетной коммутации на базе Multi-protocol Label Switching (MPLS) [1] считаются рядом специалистов в области телекоммуникаций одними из самых перспективных и позволяют обеспечить надежность каналов, приближающуюся к сетям SDH/PDH. Наряду с передачей Ethernet трафика маршрутизаторы MPLS поддерживают синхронные интерфейсы (G.703.1, X.21, E1, RS-232) и ИКМ в низкочастотных каналах, что делает возможным их использование для уже эксплуатируемого оборудования с традиционными интерфейсами и протоколами. При отказах основных путей собственные механизмы резервирования сетей MPLS обеспечивают переключение на резервные за время до 50 мс. В них существует возможность организации основных и резервных каналов по статическим путям с потенциально гарантированной пропускной способностью (рис. 6).

С участием авторов проведены измерения задержек и их симметрии в каналах по сетям MPLS с электрическими интерфейсами E1, в том числе при штормовых нагрузках (рис. 7). Результаты показали, что при соответствующих настройках маршрутизаторов MPLS величины задержек и их симметрия приемлемы как для УПАСК, так и ДЗЛ. Но следует отметить, что накладные расходы при реализации высоконадежных каналов с гарантированной полосой многократно превышают скорость передачи данных на интерфейсах пользователя. Это ставит вопрос об эффективности использования потенциально доступной пропускной способности в сетях MPLS, т.к. при большом числе каналов для существующих систем РЗА преимущества пакетной коммутации нивелируются.

Также проведены испытания с реальной аппаратурой УПАСК и ДЗЛ (рис. 8). Испытания УПАСК с поддержкой бесшовного резервирования показали, что физическое прерывание одного из каналов не приводит к прерыванию постоянно передаваемых команд как при штормовой нагрузке, так и без нее. Испытания ДЗЛ с контролем дифференциального тока подтвердили соответствие величины задержки, ее симметрии и стабильности требуемым значениям как при штормовой нагрузке, так и без нее. При прерывании одного из маршрутов работа терминалов ДЗЛ осуществлялась через другой.

Следует отметить, что альтернативой MPLS-ориентированным технологиям может служить технология пакетной коммутации Provider Backbone Bridge Traffic Engineering (PBB-TE) [5], которая так же позволяет обеспечить надежность каналов, приближающуюся к сетям SDH/PDH.

Информационная безопасность цифровых сетей

Проблемы обеспечения ИБ актуальны во всех цифровых сетях (SDH/PDH, IP/Ethernet, MPLS и т.д.) не зависимо от используемых в них технологий по следующим причинам:

• мультиплексоры, коммутаторы и маршрутизаторы построены с использованием операционных систем (ОС) Linux, Unix, QNX, pSOSystem и т.д. часто устаревших версий с известными уязвимостями;
• управляющее программное обеспечение (ПО) и системы управления сетями реализованы на базе ОС Windows или Linux/Unix;
• срок устранения уязвимостей часто более одного года, а иногда устранить их невозможно, например, из-за прекращения поддержки ОС их производителями;
• не исключена вероятность обнаружения новых уязвимостей.

В результате, как локально, так и удаленно, как немедленно, так и отложено могут быть поражены аппаратные и программные ядра сетевого оборудования, что может привести к отказу каналов или искажению передаваемой по ним информации.

Большинство поражений каналов в сетях SDH/PDH будет обнаружено практически сразу из-за потери или искажения передаваемых данных. В сетях с пакетной коммутацией поражение канала может быть обнаружено далеко не сразу. Например, несанкционированное изменение приоритета канала РЗА с высокого на низкий будет проявляться только при штормовых нагрузках в сети, что затруднит поиск причины его периодических отказов. Поэтому в сетях с пакетной коммутацией вопросы обеспечения ИБ приобретают особую актуальность.

ЗАКЛЮЧЕНИЕ

Организация высоконадежных каналов для существующих и перспективных систем РЗА возможна как в сетях SDH/PDH, так и с пакетной коммутацией. Для практического использования сетей с пакетной коммутацией вместо SDH/PDH необходимы:

• объективные исследования преимуществ и недостатков сетей на базе разных технологий пакетной коммутации по сравнению с SDH/PDH при учете специфики существующих и перспективных приложений в корпоративной и технологической зонах;
• испытания коммутаторов и маршрутизаторов, т.к. параметры каналов в них отличаются, причем даже у одного типа оборудования с разными версиями встроенного ПО (разными «прошивками»);
• выработка общих принципов построения в сетях с пакетной коммутацией каналов технологической зоны, в том числе для РЗА, и разработка методик их проверки;
• проверка коммутаторов и маршрутизаторов на отсутствие незадекларированных возможностей (использование только доверенного оборудования), без чего в принципе не возможно обеспечение ИБ каналов технологической зоны.

Без решения указанных вопросов с привлечением широкого круга специалистов, и не только в области телекоммуникаций, внедрение сетей с пакетной коммутацией вместо SDH/PDH несет много потенциальных рисков. Переход от широко используемой сегодня в электроэнергетике и хорошо зарекомендовавшей себя для построения высоконадежных каналов технологии SDH/PDH к технологиям пакетной коммутации на настоящий момент времени не является необходимым.

ЛИТЕРАТУРА

1. Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы, технологии, протоколы: Учебник для вузов. 4-е изд. – СПб.: Питер, 2010.
2. Харламов В.А. Реализация цифровых каналов технологической связи для РЗА и ПА // Воздушные линии. № 2. С. 53-58.
3. IEC 62439-2 ed1.0: 2010. Industrial communication networks – High availability automation networks – Part 2: Media Redundancy Protocol (MRP).
4. IEC 62439-3 ed2.0: 2012. Industrial communication networks – High availability automation networks – Part 3: Parallel Redundancy Protocol (PRP) and High-availability Seamless Redundancy (HSR).
5. 1Qay-2009 – IEEE Standard for Local and Metropolitan Area Networks – Virtual Bridged Local Area Networks – Amendment 10: Provider Backbone Bridge Traffic Engineering.