ru
ru en

Анализ эффективности функционирования сети Ethernet цифровой подстанции

Предлагаем Вашему вниманию статью “Анализ функционирования сети Ethernet цифровой подстанции” (авторы:  Жуков А. В., Стешенко Д. М. (ОАО «СО ЕЭС»); Аношин А. О., Максимов Б. К. (ФГБОУ ВПО «НИУ «МЭИ»)).

АНАЛИЗ ФУНКЦИОНИРОВАНИЯ СЕТИ ETHERNET ЦИФРОВОЙ ПОДСТАНЦИИ

В настоящее время активно ведутся работы в направлении создания цифровых подстанций (ЦПС). Данные работы осуществляются в рамках создания интеллектуальной энергосистемы в целях повышения надежности и живучести энергосистемы. Создание ЦПС преследует несколько целей, а именно: уменьшение капитальных и эксплуатационных затрат, повышение надежности и качества выполнения функций по передаче и распределению электрической энергии, что в конечном итоге повышает надежность электроснабжения потребителей. При создании проекта ЦПС проектировщиками осуществляется разработка информационной сети. Это главная задача, в рамках которой осуществляются:

1. Разработка информационной платформы для реализации функций релейной защиты и автоматики (РЗА) в соответствии с требованиями стандарта МЭК 61850.

2. Разработка физической топологии информационной сети ЦПС.

3. Разработка технических решений по обеспечению надежности передачи данных в информационной сети ЦПС.

4. Управление информационной нагрузкой.

5. Оценка производительности информационной сети в соответствии с выбранной топологией и методами управления информационной нагрузкой.

Целью данной статьи является представление результатов моделирования и анализа эффективности функционирования информационной сети ЦПС 220/110/35/6 кВ и разработки рекомендаций по управлению информационной нагрузкой.

Наиболее распространенным подходом к проектированию информационных систем подстанций в настоящее время являются решения на основе экспертных оценок. В соответствии с этим подходом специалисты в области телекоммуникационных технологий на основании имеющегося у них опыта и экспертных оценок осуществляют проектирование вычислительных систем, обеспечивающее решение конкретной задачи или класса задач. Этот подход позволяет минимизировать затраты на этапе проектирования, быстро оценить стоимость реализации информационной системы. Однако решения, полученные с использованием экспертных оценок, носят субъективный характер.

Еще одним подходом является физическое моделирование. Оно позволяет решать отдельные задачи при задании небольшого количества сочетаний исследуемых параметров системы. При натурном моделировании вычислительной сети практически невозможно проверить ее работу для вариантов с использованием большого количества телекоммуникационных устройств и устройств РЗА. Поэтому возможности физического моделирования при анализе информационных сетей ограничены. Но если определенным образом преобразовать топологию, то возможности физического моделирования могут возрасти. Однако снятие статистических характеристик с различных точек сети чрезвычайно затруднено.

При анализе и оптимизации информационных сетей во многих случаях предпочтительным оказывается использование математического моделирования. Особым классом математических моделей являются имитационные модели. Такие модели представляют собой компьютерную программу, которая хронологически шаг за шагом воспроизводит события, происходящие в реальной системе. Применительно к вычислительным сетям их имитационные модели воспроизводят процессы генерации сообщений приложениями, осуществляют разбиение сообщений на пакеты и кадры определенных протоколов, выявляют задержки, связанные с обработкой сообщений, пакетов и кадров внутри информационной системы, а также позволяют анализировать процесс получения доступа устройств к разделяемой сетевой среде.

При имитационном моделировании информационной сети не требуется приобретать дорогостоящее оборудование, так как его работа имитируется программами, достаточно точно воспроизводящими все основные особенности и параметры такого оборудования. Результатом работы имитационной модели являются собранные в ходе прогона модели статистические данные о наиболее важных характеристиках сети: прогнозируемые задержки между конечными и промежуточными узлами сети, пропускную способность каналов, коэффициенты использования сегментов; буферов и процессоров, источники задержек и узких мест сети, вероятности потерь пакетов и т. п. Все это позволяет взглянуть на информационные сети не как на «черный ящик», а с точки зрения потока информационных процессов, протекающих в них.

Поэтому в качестве основного может быть использован поход, предполагающий разработку модели и моделирование (имитацию работы) поведения вычислительной системы.

В данной статье рассматривается программная система имитационного моделирования OPNET Modeler, которая ориентирована на сети связи и позволяет строить модели с элементами программирования. В статье представлены результаты моделирования информационного обмена данными на уровне «шины процесса» и «шины станции» ЦПС 220/110/35/6 кВ в соответствии с требованиями стандарта МЭК 61850. Информационный обмен на ЦПС осуществляется между интеллектуальными электронными устройствами (ИЭУ) для реализации функций РЗА с применением различных методов управления информационной нагрузкой сети Ethernet.

Стандарт МЭК 61850 ставит жёсткие требования к времени передачи данных (Таблица 1). Полное время передачи данных от момента создания сообщения и до момента его приема и возникающие задержки являются необходимой информацией при проектирование систем релейной защиты и автоматизации.

Таблица 1. Требования к времени передачи данных согласно МЭК 61850

Функция 

Сообщение/Тип

Протокол Макс. задержка Трафик 

(ПП)

Приоритет Приложение
1A.Срабатывание GOOSE L2 Multicast 3 мс Низкий Высокий Защита
1B. Другие данного класса GOOSE L2 Multicast 10..100 мс Низкий Средний/ 

Высокий

Защита
2. Выборки мгновенных значений SV L2 Multicast 4 мс Высокий Высокий Шина процесса
3.Синхронизация Time 

Sync

IP (SNTP) 

L2 (PTP)

L2 (1588v.2)

0.1..10 мс Низкий Средний/ 

Высокий

PMU, SVs
4. Команды MMS IP 1..1000 мс Низкий Средний/ 

Низкий

АСУ, контроллер присоединения

Первым этапом работы являлось создание модели системы автоматизации подстанции 220/110/35/6 кВ в программном комплексе OPNET Modeler [3] с детальным описанием моделей отдельных ИЭУ и системы связи на подстанции.

Разработаны следующие модели с параметрами, представленными в таблице 2:

− модель пакета данных sampled values (SV) и GOOSE сообщений (рис. 1, рис. 2);

− модель ИЭУ аналогового мультиплексора – IED MU (рис. 3);

− модель ИЭУ релейной защиты – IED P&C (рис. 4);

− модель ИЭУ контроллера присоединения – IED Breaker (рис. 5);

− модель «шины процесса» и «шины станции» – Process Bus и Station Bus (рис. 6, рис. 7);

Рис. 1. Модель фрейма Ethernet в OPNET Modeler для сообщения типа SV.
Рис. 2. Модель фрейма Ethernet в OPNET Modeler для сообщения типа GOOSE.
Рис. 2. Модель фрейма Ethernet в OPNET Modeler для сообщения типа GOOSE.
Рис. 3. Модель ИЭУ аналогового мультиплексора.
Рис. 3. Модель ИЭУ аналогового мультиплексора.
Рис. 4.  Модель ИЭУ РЗА.
Рис. 4. Модель ИЭУ РЗА.
Рис. 5. Модель ИЭУ контроллера присоединения.
Рис. 5. Модель ИЭУ контроллера присоединения.
Рис. 6. Модель шины процесса.
Рис. 6. Модель шины процесса.
Рис. 7. Модель шины станции.
Рис. 7. Модель шины станции.

Под «шиной процесса» понимается локальная вычислительная сеть, соединяющая первичное оборудование с ИЭУ, выполняющими различные функции. Например, выполнение функций релейной защиты, различного рода автоматики, технического (измерительные преобразователи) и коммерческого (счетчики) учета. При этом цифровой интерфейс может быть реализован либо в самом первичном оборудовании, либо при помощи различных комбинаций объединяющих устройств:

− специализированных аналоговых мультиплексоров;

− полевых контроллеров ввода/вывода.

Информация, передаваемая по этой сети – это выборки токов и напряжений (SV) и GOOSE сообщения (дискретные сигналы) в цифровом виде [1].

В данной работе «шина процесса» и «станционная шина» объединяться в единую локальную вычислительную сеть, хотя теоретически они могут быть организованы независимо друг от друга.

Модель «шины процесса» присоединений в OPNET Modeler состоит из модели ИЭУ аналогового мультиплексора, модели ИЭУ релейной защиты и автоматики, модели ИЭУ контроллера присоединения, модель Ethernet коммутатора, модели линии связи 100 Мбит/с.

На коммутаторе включена поддержка виртуальных локальных сетей (VLAN) и механизм управления качеством обслуживания (QoS) с поддержкой управления очередями и приоритизацией трафика.

«Шина станции» объединяет все устройства подстанции в единую информационную сеть. Она используется не только для связи клиент-сервер между АСУ ТП и ИЭУ, но и для горизонтального обмена информацией между ИЭУ при помощи GOOSE-сообщений, включая высокоприоритетные сигналы РЗА. На подстанции может быть реализовано несколько независимых друг от друга «шин станции» – например, по одной на каждый уровень напряжения. Стандартом допускается изменение времен передачи данных в определенном диапазоне. Характерные виды траффика: GOOSE и TCP/UDP (MMS, SNTP, SNMP, FTP и др.). Для обеспечения резервирования в случае выхода из строя линии связи или порта на коммутаторе выбирается топология информационной сети типа «Кольцо» с поддержкой протока RSTP, обеспечивающего восстановление сети.

Модель шины станции в OPNET Modeler состоит из моделей «шины процесса», моделей линии связи 1000 Мбит/с, моделей управляемых коммутаторов Ethernet.

Таблица 2. Параметры моделирования ИЭУ

Модель Тип отправляемого пакета с данными Тип генератора сообщений Постоянный размер пакета, байт Постоянный интервал времени между двумя отправляемыми пакетами
ИЭУ аналогового мультиплексора – IED MU SV простой источник 1192 250 мкс для 80 выборок за период промышленной частоты
ИЭУ релейной защиты – IED P&C Стационарный режим
GOOSE простой источник 1152 1
Аварийный режим
GOOSE простой источник 1152 описывается нормальным законом распределения с параметрами: математическое ожидание – 1 мс, дисперсией – 250 мкс
ИЭУ контроллера присоединения – IED Breaker Стационарный режим
GOOSE простой источник 1152 1
Аварийный режим
GOOSE простой источник описывается экспоненци-альной зависимостью размера пакета – макс 1500 1

На втором этапе осуществлялся выбор оптимальной топологии информационной сети Ethernet [2] и инструментов управления сетью с целью достижения заданных стандартом МЭК 61850 показателей времени передачи данных, достоверности передачи данных (качества) и времени восстановления сети в случае выхода из строя телекоммуникационного оборудования [1].

Результаты моделирования:

1. Загрузка канала связи от одного потока SV для 80 выборок за период промышленной частоты (4 значения тока и 4 значения напряжения) с размером пакета 1192 бита (149 байт) составляет 5,6 Мбит/с.

2. Загрузка канала связи от одного потока GOOSE с размером пакета 1152 бита и периодом между двумя посылками 1 с, составляет 1,35 кбит/с.

3. Загрузка канала связи от одного потока GOOSE с размером пакета 1152 бита и периодом отправки, описывающимся нормальным законом распределения с параметрами: математическое ожидание – 1 мс, дисперсией – 250 мкс, составляет 270 кбит/с. Закон формирования исходящих сообщений был получен после обработки экспериментальных данных, полученных на RTDS и с МП терминала РЗА SEL-451.

4. Величина задержки End-to-End в канале связи удовлетворяет требованиям стандарта МЭК 61850. В качестве основной топологии «шины станции» выбрано «Кольцо», а «шины процесса» – «Звезда». При этом следует отметить, что при передаче данных в первый момент времени величина задержки максимальна в связи с процессом «схождения» сети.

5. Загрузка управляемого коммутатора входящим и исходящим трафиком (потоки SV и GOOSE) составляет 9 Мбит/с.

На третьем этапе произведена верификация разработанных моделей в научно-образовательном центре «Надежность и эффективность РЗА, ПА и телекоммуникации в интеллектуальной электроэнергетической системе с активно-адаптивными сетями». Верификация осуществляется путем сравнительного анализа результатов моделирования со значениями, полученными экспериментальным путем с помощью программно-аппаратного комплекса RTDS (Real Time Power System Simulation) и волокно-оптического преобразователя токов и напряжения (ВОПТ) компании «ПРОФОТЕК». Результат анализа показал, что:

1. Cтруктура разработанной модели пакета данных SV и GOOSE сообщений в OPNET Modeler, RTDS и «ПРОФОТЕК» соответствуют стандарту МЭК 61850. Данные, полученные экспериментальным путем на RTDS и ВОПТ компании «ПРОФОТЕК» и по результатам моделирования в OPNET Modeler имеют одинаковый порядок и совпадают с теоретическим значением 4 Мбит/с. Основные отличия заключаются в том, что при моделировании в программном комплексе OPNET Modeler передается полный кадр Ethernet, а анализатором трафика Wireshark захватываются кадры с RTDS и ВОПТ «ПРОФОТЕК» без полей преамбулы, стартового бита, тега IEEE 802.1Q и контрольной суммы (FCS).

2. Загрузка канала связи выборками мгновенных значений SV составляет 4 Мбит/с, что соответствует теоретическому значению, полученному аналитическим путем: 122 байт (размер меньше за счет отбрасывания: преамбулы, бита начала кадра, тега IEEE 802.1Q и контрольной суммы)×8 бит×4000 Гц = 3904000 бит/с для 80 выборок за период промышленной частоты.

Заключительным этапом являлся анализ существующего на рынке телекоммуникационного оборудования и выработка рекомендаций для технической реализации построения информационной сети ЦПС 220/110/35/6 кВ.

Представляется целесообразным при проектировании и планировании информационных сетей ЦПС придерживаться  следующей последовательности выполнения:

1. Разрабатывается физическая конфигурация сети.

В качестве основной топологии сети Ethernet предлагается «Кольцо» и различные ее вариации («Кольцо в Кольце», смешенная топология). Основное достоинство данной топологии – это резервирование связей. В случае обрыва одной из связи, данная сеть переконфигурируется в топологию «Шина».

2. Все узлы сети распределяются по рабочим группам.

3. Рабочие группы распределяются по виртуальным локальным сетям.

Технология виртуальных локальных сетей VLAN позволяет в информационной сети путем настройки режима Port-Based VLAN создать изолированные группы конечных узлов, между которыми отсутствует любой трафик, в том числе широковещательный. Конфигурирование обычно ведется путем группировки портов или MAC-адресов. В случае использования данной технологии каждый передаваемый кадр Ethernet (сообщение) от ИЭУ помечается специальной меткой – тегом, идентифицирующим номер сети, которой принадлежит отправитель сообщения. Стандартный формат тега определен в спецификации IEEE 802.1Q.

4. Исходя из оценок прогнозируемого трафика и его характера, числа узлов и подсетей выбирается структура сети и типы сетевого оборудования.

5. Каждому типу трафика присваивается приоритет в соответствие с рекомендациями МЭК 61850. В соответствие со спецификацией IEEE 802.1P каждому типу трафика может быть задан приоритет от 0 до 7. Стандартом «по умолчанию» рекомендуется использование значение 4 для SV и GOOSE сообщений.

6. На управляемых коммутаторах настраивается механизм управления качеством обслуживания QoS, выбирается соответствующий тип управления и приоритет каждой очереди.

Для приоритизации трафика на управляемых коммутаторах настраивается механизм управления качеством обслуживания QoS: классификация и профилирование трафика, приоритетные и взвешенные очереди, резервирование пропускной способности.

7. При наличие свободных портов настраивается механизм агрегирования физических каналов связи в один логический и также создаются магистральные VLAN соединения – транки, что увеличивает пропускную способность и надежность сети.

Так же при наличие свободных портов на коммутаторе используется технология агрегирования нескольких физических портов в один логический. Данная технология позволяет увеличить пропускную способность и надежность сети, путем создания нескольких альтернативных маршрутов в локальной сети на коммутаторах.

8. Необходимо учитывать возможности масштабирования сети, если ожидается ее расширение в процессе эксплуатации.

ВЫВОДЫ

1. Впервые в отечественной практике были разработаны модели пакетов данных SV и GOOSE сообщений в программном комплексе имитационного моделирования OPNET Modeler. Выбранная структура пакетов подтверждена анализом Ethernet фреймов, полученных с RTDS, ВОПТ «ПРОФОТЕК» и МП РЗА SEL-451.

2. Впервые в отечественной практике были разработаны модели коммуникационных интерфейсов ИЭУ аналогового мультиплексора, релейной защиты и контроллера присоединения в программном комплексе имитационного моделирования OPNET Modeler. Это позволило создать модель «шины процесса» и «шины станции» для моделирования информационного обмена и сети ЦПС.

3. Проведенный анализ моделирования информационной сети цифровой подстанции показал совпадение загрузки канала связи от одного потока SV и GOOSE сообщений, полученной расчетным и экспериментальным путем. Загрузка шины процесса от одного потока SV и GOOSE сообщений не превышает 10 Мбит/с. Возникающие задержки при передаче данных не превышают 3 мс для GOOSE сообщений и 4 мс для сообщений SV, что удовлетворяет требованиям стандарта МЭК 61850.

4. Для эффективного функционирования системы автоматизации подстанции предлагается использовать методы управления информационной нагрузкой: применение виртуальных локальных сетей VLAN и управление качеством обслуживания QoS (приоритизация трафика и использование технологии управления очередями).

Использование данных методов позволило эффективно использовать телекоммуникационную инфраструктуру ЦПС.

5. На основе анализа существующего на рынке телекоммуникационного оборудования для ЦПС 220/110/35/6 кВ предлагается устанавливать управляемые промышленные коммутаторы компании Pullnet линейки AGENT-2, удовлетворяющие требованиям стандарта МЭК 61850.

Данная работа была выполнена при тесном взаимодействие сотрудников кафедры РЗ и АЭС «НИУ «МЭИ» и специалистов ОАО «СО ЕЭС».

СПИСОК ЛИТЕРАТУРЫ

1. IEC 61850: Communication networks and systems in substations – Part 3,5,7,8-1,9-2.

2. IEC 61850-90-4 TR. Communication networks and systems for power utility automation – Part 90-4: Network engineering guidelines for substations.

3. Электронный учебник OPNET Modeler Tutorial [Электронный ресурс] – OPNET Technologies.

Цифровая подстанция

(close)