Отсутствие НТД по компоновке шкафов с оборудованием АСУ ТП ПС порождает вольную трактовку поставщиками проектной и существующей нормативной документации, что приводит к неоптимальным с точки зрения эксплуатации техническим решениям. Но здравый смысл и калькулятор могут создать почву для компромисса между удобством эксплуатации и интересами поставщика, не нарушая требований существующей нормативно-технической документации.

1. Традиции

Так сложилось, что первые шаги в автоматизации трансформаторных подстанций делались с опорой на решения, наработанные за годы проектирования и эксплуатации оборудования РЗА, где после перехода на микропроцессорное оборудование ключевым элементом стал терминал. Логично, что при разработке первых ПТК АСУ ТП ПС всё стало крутиться вокруг контроллеров присоединений и оборудования верхнего уровня, а все решения касательно остального оборудования принимались по остаточному принципу: приткнуть, где и как получится, лишь бы под ногами не мешалось. Главной жертвой здесь стало оборудование ЛВС ПТК АСУ ТП. Мне даже известны проекты, где ПТК АСУ ТП был спроектирован вообще без ЛВС, но об этом позже.

Типовым решением стало размещение в одном шкафу пары контроллеров присоединений и одного или двух коммутаторов, нередко туда же добавляли измерительные преобразователи.

И всё это добро впихивали в шкаф размером 800х600 мм (ширина и глубина) по аналогии со шкафами РЗА. Казалось бы, логичное решение, но, во-первых, мало кто обращает внимание, что в шкафу контроллеров присоединений в разы больше кабелей, чем в среднем шкафу РЗА. При необходимости в малейших переделках такая «компоновка» заставляет практически полностью вынимать содержимое забитых «под крышку» кабель-каналов, что чревато не только ростом трудозатрат, но и ошибками и повреждениями жил. Во-вторых, такая компоновка –явное нарушение требований ПУЭ о недопустимости формирования пучков жил более 100 мм в диаметре. В эти же кабель-каналы помещают и витую пару, и кабели питания, и оптику, что тоже противоречит и ПУЭ, и здравому смыслу.

2. Верхний уровень.

Оборудование верхнего уровня компонуется аналогично: в шкаф помещается несколько серверов и всё свободное место забивается станционными контроллерами, СОЕВ и коммутаторами с межсетевыми экранами. Причем здесь всё это помещают в шкаф шириной 600, а глубиной 1000 мм – так сказать, практическое пособие для специалистов, меняющих свечи в двигателе через выхлопную трубу. И всё это «украшают» лопающиеся от натуги кабель-каналы.

Что удивительно, во всем этом «великолепии» наибольшие нарекания у некоторых руководителей вызывал только хвост серверного шкафа, торчащий из общего ряда шкафов ПТК, – вид портит.

Чего больше всего боится сервер? Ну, кроме безалаберного наладчика, конечно. Сервер боится пыли. Нередко это приводит к повреждению механической части серверов – вентиляторов и CD-приводов. Поэтому при компоновке шкафа серверов задача предотвращения попадания пыли в шкаф требует наибольшего внимания. Главным источником пыли являются кабельные лотки под шкафами. Несмотря на то, что в строительной части проектной и рабочей документации часто упоминают пылеотталкивающую краску, строители ее часто применяют «для отчета». Эту бесценную в плане борьбы с пылью краску наносят на внешнюю сторону гипсокартонной отделки стен, хотя качества этого материала лучше всего проявляются на основных источниках пыли – бетонных и кирпичных конструкциях, особенно на горизонтальных перекрытиях под фальшполами в залах релейных панелей. Поэтому, в силу наличия в серверном шкафу вытяжной вентиляции, идет непрерывный подсос пыли из-под фальшпола и ее подъем на полную высоту шкафа, где она свободно проникает в корпуса серверов. При проведении ТО нередко можно наблюдать картину, когда полностью продутый серверный шкаф заполнялся пылью на третий день после ТО.

Следовательно, для защиты от пыли в шкафу серверов в первую очередь необходимо минимизировать количество отходящих кабелей, перечень которых можно ограничить следующим образом:

• Основной ввод питания;
• Резервный ввод питания;
• Ввод питания с АВР для устройств с одним блоком питания;
• По две витых пары для каждого сервера;
• Контрольный кабель сбора сигнализации состояния шкафа;
• Одна-две витых пары для подключения вспомогательных устройств.

Все кабели заводятся через сальниковые ступенчатые вводы, при этом необходимо следить за их аккуратной нарезкой монтажниками в соответствии с прилагаемой инструкцией и подходящим инструментом. Как уже было сказано выше, вытяжная вентиляция на крыше шкафа превращает его в пылесос и даже малейшие щели недопустимы. Исходя из предложенного списка кабелей, становится понятен и список оборудования:

• Ряд серверов (по опыту автора, до 5 единиц плюс 2–3 резервных места);
• КВМ-панель;
• Панель световой индикации состояния шкафа;
• Блок автоматических выключателей распределения питания;
• УСО сбора сигналов о положении автоматических выключателей и дополнительных диагностических сигналов;
• Блок клемм для распределения питания и сбора сигналов для передачи в контроллер АПТС (о нем ниже).

Нередко приходится сталкиваться с мнением, что в таком виде шкаф серверов получается пустым. Это заблуждение. Во-первых, всегда необходимо иметь резерв для размещения дополнительного оборудования, в данном случае серверов. Иначе, при необходимости установки дополнительных серверов на ПС, потребуется отдельный шкаф с КВМ-панелью, с гарантированным питанием и т.д. Резервные места также обеспечат параллельную работу старого и нового оборудования при замене верхнего уровня. Пять серверов и два резервных места – это уже 14U высоты при использовании корпусов 1U. Во-вторых, панель индикации добавляет еще 4U с учетом необходимого пространства и отступа от нижнего края шкафа не менее 400 мм в соответствии с пунктом 2.4 СТО 56947007-29.120.70.042-2010. Блоки автоматических выключателей –это еще 6–9U. КВМ панель – еще 3U. При этом необходимо учесть, что если сервера и КВМ-панель занимают всю глубину шкафа, то совмещение оборудования по вертикали с передней и задней стороны здесь неприменимо. В итоге получаем, что при такой компоновке оборудование шкафа займет порядка 30U из 42. Оставшиеся 12U высоты займет дополнительный вытяжной вентилятор, который не рекомендуется ставить напротив оборудования шкафа.

Если у кого-то сохранилось скептическое отношение к предложенному варианту, то прошу обратить внимание, что при таком размещении отпадает необходимость в разделении серверов на два полукомплекта, так как всё помещается в один шкаф размером 800х800. Да, да! Несмотря на часто встречающиеся сомнения, имеется положительный опыт размещения всего серверного оборудования в шкафу глубиной 800 мм, а не 1000. Кроме удобства обслуживания, предотвращения проникновения пыли, уменьшения глубины, мы получаем возможность установки дополнительных серверов по мере необходимости и экономим на монтажном оборудовании второго полукомплекта.

Рекомендуется также отказаться от блоков розеток в серверных шкафах, так как замыкание на входе блока питания одного из серверов приводит к отключению автоматического выключателя всего блока и обесточиванию основного или резервного питания всех остальных серверов. Лучше на каждый из блоков питания серверов предусмотреть отдельный автомат.

3. Шкаф станционных и функциональных контроллеров (серверов среднего уровня).

Неважно, как будет называться устройство сбора и передачи телеметрии в диспетчерские центры. Главное, чтобы оно справлялось не только с текущими задачами, но и с возможными будущими требованиями, не содержало механических компонентов и имело два блока питания постоянного тока 220 В.

Зачем же для станционных серверов ТМ необходим отдельный шкаф?

Так это как раз то место, где можно безболезненно разместить все «мелочи» типа СОЕВ, межсетевых экранов и серверов последовательного доступа. Здесь же можно разместить средства интеграции IED-устройств с последовательными интерфейсами.

Поставщики ПТК АСУ ТП часто предлагают решение по интеграции IED-устройств непосредственно в контроллеры присоединений (КП). Но, как показал опыт, это решение не оптимально ни по цене, ни по своим эксплуатационным параметрам. В силу ограничения количества портов в одном КП, оно отнимает слоты у модулей дискретных входов/выходов,  нагружает процессор и память КП, отвлекает ресурсы от его основной задачи и приводит к нестабильной работе КП. И данное решение дорогое, так как использует порты последовательного интерфейса, специализированные для конкретной модели контроллера.

Обычно один КП обладает четырьмя портами RS-232/422/485, при этом дальнейшее расширение требует установки дополнительного модуля, и уже при необходимости в ПТК 12–14 портов становится выгоднее и удобнее использовать сервер среднего уровня и многопортовый сервер последовательного доступа типа MOXA NPort или CN. Для дальнейшего расширения будет достаточно поставить еще один многопортовый NPort или даже установить непосредственно в шкаф с интегрируемым оборудованием NPort с одним или двумя портами и подключить его к локальной сети.

Да, в предыдущем разделе мы отказались от шкафа резервного полукомплекта верхнего уровня АСУ ТП и тут же предложили отдельный шкаф для среднего уровня. Но при этом мы минимизировали проникновение пыли в шкаф серверов, получили возможность оптимизировать питание при использовании на среднем уровне устройств с питанием постоянным током 220 В, создали резервы для дальнейшего расширения без закупки дополнительных устройств и облегчили в будущем замену верхнего уровня АСУ ТП, когда новые сервера можно последовательно устанавливать на резервные места и переносить ПО без перерыва в работе. Тем более что зачастую всё указанное оборудование пытаются запихать в один шкаф без всякого разделения и резервов.

4. Шкаф ЛВС.

Шкафы ЛВС в АСУ ТП долгое время считались лишними.

По крайней мере, за свой     6-летний опыт я всего один раз встретил некое подобие ШЛВС, но, как указывалось во вступлении, размещение коммутаторов в шкафах КП приводит к нарушению ПУЭ в части укладки витой пары и оптики в одном кабель-канале с контрольными кабелями.

Но самое интересное, что «уламывание» поставщиков на ШЛВС, наоборот, привело к экономии средств. Раньше коммутаторы в каждом шкафу КП считались типовым решением и ставились без каких-либо расчетов. Это приводило к тому, что в ТКП указывали 14–18 коммутаторов, а при детальном расчете необходимого количества портов оказывалось, что необходимо 8–10 коммутаторов. А шкаф с комплектом монтажного оборудования сопоставим по стоимости с ОДНИМ коммутатором, сертифицированным для использования на электросетевых объектах.

К идее расчета портов как раз и привела попытка заставить поставщиков делать ШЛВС. При этом выяснилось, что точное количество портов, причем с запасом, можно рассчитать по структурным схемам РЗА, ПА и АСУ ТП уже на стадии ПД.

Кроме экономии на сокращении количества коммутаторов и «облегчении» шкафов КП, такое решение дало дополнительные преимущества. Концентрация коммутаторов и портов в одном-двух шкафах позволяет собрать магистральные кольца на гигабитных медных портах, серверное оборудование и АРМ также подключить к гигабитным портам, что дает существенную экономию по затратам на создание ПТК АСУ ТП.

В состав такого шкафа, помимо коммутаторов, еще можно включить оптический кросс, кабель-органайзеры и в ряде случаев патч-панели. Как показал опыт разработки РКД на такой шкаф, если на ПС всё оборудование можно подключить к 8 коммутаторам, то можно ограничиться одним шкафом, если их требуется больше, то лучше разделить на два полукомплекта. Если не предусмотрено дальнейшее расширение ПС, то можно ограничиться одним шкафом с 10-ю коммутаторами, при условии выноса оптического кросса в шкаф среднего уровня. Почему так мало? Потому что для комфортного в обслуживании размещения на один коммутатор должно приходиться 3 юнита. Один под кабель-органайзер, один под собственно коммутатор и ещё один необходим для того, чтобы вышестоящий кабель-органайзер не блокировал защелки коннекторов. Десять по три получаем 30, плюс согласно СТО 56947007-29.120.70.042-2010 ограничения по высоте размещения оборудования.

Что касается часто встречающегося применения коммутаторов в ЗРУ и КРУН – это лишнее.

Так как уже всё больше оборудования РЗА, КП и измерительных преобразователей выпускается с поддержкой кольцевого резервирования и с оптическими портами, то становится дешевле и удобнее прокладывать ВОК с большим количеством волокон, ставить многопортовые кроссы в ЗРУ и в ЗРП и подключать всё это к оптическим портам на коммутаторах в ШЛВС. Это позволит унифицировать используемые коммутаторы. Например, RSG2300 в стандартной комплектации содержит 4 порта 1Gb/s TX, 4 порта 100Mb/s FX и 24 порта 100 Mb/s TX. При 8 коммутаторах это позволит подключить до 16 оптических «колец», при использовании одного кольца на измерительные преобразователи и одного кольца под терминалы РЗА на одну секцию ЗРУ или КРУН это позволит подключить до 8 секций ЗРУ, чего уже вполне достаточно для подстанции средних размеров. Унификация избавляет нас от проблем с формированием ЗиП. Несмотря на высочайшую надежность продукции двух наиболее распространенных производителей, случиться может всякое, а унифицированный ЗиП избавит от проблем совместимости. И закладывать ЗиП можно не в каждый проект, что опять же экономит капзатраты.

Как и в случае со шкафом серверов, нужно помнить про резервные «посадочные» места. Несмотря на относительную «пустоту», это избавит от многих хлопот и затрат при дальнейших расширениях ПС. Например, при начальных 8 коммутаторах мы поставили на пусковом этапе 2 ШЛВС с 6-ю дополнительными резервными местами. При дальнейших расширениях будет достаточно добавлять по паре коммутаторов и переключать 4 патчкорда для включения их в основное и резервное кольцо.

5. Шкаф контроллеров присоединений.

Ну, вот мы и добрались до самого шкафа контроллеров присоединений. Главной проблемой компоновки шкафа КП стало пренебрежение к размещению жил контрольных кабелей. Предложение использовать для КП шкафы глубиной в 600 мм по аналогии со шкафами РЗА не выдерживает критики, так как количество отходящих кабелей отличается в разы: в шкафах КП количество жил находится в пределах от 400 до 500, тогда как в шкафах РЗА оно редко достигает 200, что позволяет при компоновке шкафа РЗА укладывать их в два боковых вертикальных кабель-канала. Но и то зачастую релейщики требуют демонтировать кабель-каналы и крепить жилы на монтажные решетки. Попытка реализовать аналогичное решение в шкафу КП несколько улучшает ситуацию, но не обеспечивает свободный доступ к кабелю и резервным жилам в случае необходимости. Решением может быть только переход к шкафам КП глубиной в 800 мм. При этом в боковинах шкафа ставится дополнительное количество конструктивных элементов с перфорацией, в которую крепятся специальные площадки с многоразовыми стяжками-липучками «велкро» для укладки жил.

Кроме решения проблем с укладкой жил, такое решение позволяет избавиться от шкафа измерительных преобразователей. Так как в шкафу КП и раньше был неиспользованный объем в нижней передней части, то при переходе на глубину 800 он становится еще больше. Сюда, под фальшпанель, можно установить измерительные преобразователи и клеммы цепей измерения. Имеющийся опыт: так как требованиями к РЗА количество основных устройств ограничено двумя единицами, в нашем случае это два контроллера присоединений. Зачастую для присоединений 110 кВ и 220 кВ такой шкаф будет управлять 4 присоединениями, то есть требуется 4 измерительных преобразователя (ИП), которые как раз и помещаются в указанном объеме шкафа. Для красоты данный отсек можно закрыть фальшпанелью на петлях с винтами-барашками для относительно быстрого доступа.

Что касается индикации, то многие современные ИП обладают опцией выносного экрана, который можно разместить рядом с панелями КП или вывести измерения прямо на LCD-панель КП.

Данное решение не только избавляет от шкафа измерительных преобразователей, но и дает легко масштабируемое решение при дальнейшем расширении подстанции.

Кроме всего прочего, при установке всех шкафов АСУ ТП в один ряд и использовании шкафов глубиной 800 можно сделать высокому начальству приятное – выстроить все шкафы в одну линию без торчащих «хвостов».

6. Шкаф измерительных преобразователей.

При описанных выше решениях по компоновке шкафов АСУ ТП, шкаф измерительных преобразователей имеет право на существование только при реализации проектов ССПИ и в том случае, когда контроллеры присоединений совмещены с терминалами АУВ типа Siemens 6MD66 или ЭКРА 240.

Единственное, что хотел бы сказать: не надо забывать про резервные места.

По опыту, такой шкаф может вместить до 20 измерительных преобразователей, и если первоначальным проектом предусмотрено 16, заставьте подрядчика сделать все подготовительные работы по установке еще 4-х ИП. Если кого-то смущают дырки в панелях, то можно предусмотреть заглушки. Также имеют место варианты установки ИП в шкафах автоматики, но в большинстве случаев это решение натолкнется на сопротивление службы РЗА в силу условий разграничения зон ответственности.

7. Шкаф АПТС.

Дополнительно разгрузить шкафы КП можно за счет «реинкарнации» шкафов ЦС на новом техническом уровне. Сбор сигналов типа «Работа» и «Неисправность» с терминалов РЗА, ПА, критического оборудования подстанции можно не распределять по контроллерам присоединений, а завести в шкаф аварийно-предупредительной сигнализации, укомплектованный по требованиям к шкафам ЦС, но с использованием современных протоколов интеграции и с большим количеством дискретных входов: от 200 до 400. Логика современных контроллеров позволяет обобщить несколько сигналов и вывести их на один светодиод типа «Вызов к панели N», но при этом в АСУ ТП передавать их по отдельности.

Кроме облегчения КП и расширения их возможностей по контролю за оборудованием присоединений, это позволяет сформировать резервный контур сигнализации, не зависящий от работы АСУ ТП и, самое главное, ЛВС. С учетом участившихся обвинений и высказываний с угрозами в области кибербезопасности на межгосударственном уровне, а также того факта, что сетевое оборудование АСУ ТП в России не выпускается (китайские коммутаторы с русскими шильдиками не в счет), вывод из работы ЛВС при отсутствии ЦС и распределении сигналов по КП лишит подстанцию наблюдаемости со стороны оперативного персонала.

8. Шкаф гарантированного питания.

Про ШГП ничего особенного сказать нельзя, кроме того, что его вполне можно сделать глубиной 800 мм, шириной тоже 800 мм для лучшего охлаждения и не забывать про меры по предотвращению проникновения пыли по аналогии со шкафом серверов. Еще рекомендуется на выходе ставить АВР по переменному напряжению для питания устройств с одним блоком питания типа КВМ-панели, АРМ инженеров АСУ ТП и РЗА.

9. Масштабирование предложенного варианта и сложности при расширении традиционных компоновок.

При описанной компоновке при любом расширении добавляться будут только шкафы контроллеров присоединений с установленными в них же измерительными преобразователями. При существенных расширениях может понадобиться дополнительный шкаф ЛВС. В большинстве случаев дополнительные коммутаторы, оптические кроссы и серверы последовательных интерфейсов устанавливаются в существующие шкафы ЛВС и среднего уровня на предусмотренные резервные места по мере необходимости.

Рассмотрим несколько примеров. В первом случае на одной из ПС в составе ССПИ был предусмотрен шкаф измерительных преобразователей с резервными местами. Расширение на две ячейки 220 кВ потребует установки двух ИП в указанный шкаф, установки коммутатора в шкаф среднего уровня (в данном случае он совмещен с серверным шкафом, так как сервер всего один) и добавления модуля дискретных входов в существующий шкаф контроллеров.

Следующий пример. АСУ ТП ПС была реализована на базе АУВ 6MD66 в качестве контроллеров присоединений. В состав также входят шкафы функциональных контроллеров для каждого уровня присоединений с коммутаторами и шкафы измерительных преобразователей. Полный перечень шкафов выглядит так:

• шкаф серверов,
• ШГП,
• шкаф функциональных контроллеров 220 кВ,
• шкаф функциональных контроллеров 110 кВ,
• шкаф функциональных контроллеров 35 кВ,
• шкаф функциональных контроллеров 10 кВ (находится в ЗРУ и имеет 2 коммутатора, в которых не использовано ни одного медного порта),
• шкаф ОПС,
• шкаф ИП 220 кВ,
• шкаф ИП 110 кВ,
• шкаф ИП 35 кВ.

Одним из следующих титулов предусмотрено расширение ОРУ 110 кВ на 6 ячеек. При ППО было определено, что не только не предусмотрены резервные места для нового оборудования, но даже отсутствует возможность расширить количество дискретных входов в существующем шкафу ОПС. Поэтому для расширения придется ставить шкаф среднего уровня для дополнительных функциональных контроллеров (у данного производителя есть ограничение по количеству сигналов по приему и передаче по протоколу МЭК 61850), шкаф сетевых коммуникаций для 4 коммутаторов, шкаф ОПС для единственного контроллера сбора дискретных сигналов и шкаф ИП для                             6 преобразователей. Дополнительный сервер можно будет установить в существующий шкаф серверов за счет замены 2 серверов 2U на 3 сервера 1U.

Теперь попробуем представить компоновку по описанной в статье схеме:

• шкаф верхнего уровня, в котором легко поместился бы дополнительный сервер без каких-либо замен и переделок;
• ШГП;
• шкаф среднего уровня, в котором не только поместились бы все коммуникационные контроллеры пускового этапа (5 единиц), но и была бы возможность предусмотреть минимум 3 резервных места под расширение, то есть – минус шкаф по титулу расширения;
• шкаф функциональных контроллеров 10 кВ;
• шкаф ЛВС № 1 на 5 коммутаторов с оптическим кроссом с резервными портами;
• шкаф ЛВС № 2 аналогичный первому (стоимость двух «пустых» коммутаторов с запасом перекрыла бы стоимость дополнительной конструкции). При этом добавить по два коммутатора в оба шкафа не составило бы труда, иными словами, минус еще один шкаф из титула расширения;
• шкаф ОПС, в котором контроллер сбора дискретной информации был бы лишен сомнительного удовольствия соседствовать с коммутаторами, позволил бы разместить в шкафу еще один контроллер на предусмотренном заранее резервном месте, то есть минус еще один шкаф из затрат на расширение;
• шкафы ИП сохранились бы по количеству, и, возможно, в них сложно было бы предусмотреть 6 резервных мест и по титулу расширения нам понадобился бы дополнительный шкаф ИП.

В итоге использование рекомендаций по компоновке не привело бы к увеличению количества шкафов на этапе пуска подстанции, но в 4 раза уменьшило бы количество шкафов при расширении.

В последнем примере АСУ ТП подстанции уже было выполнено и скомпоновано так, как описано в статье, и при расширении на одну ячейку 220 кВ в уже существующий шкаф будет установлен измерительный преобразователь, и в том же шкафу в существующий контроллер будут добавлены модули ввода-вывода, хотя из-за большого временного разрыва при проектировании и реализации первоначально титулом расширения предусматривалось два шкафа. Комментарии, как говорится, излишни.

Описанные примеры взяты не с потолка, а приближены (причем в сторону усложнения) к реальным случаям из практики.

10. Заключение.

Пока писалась данная статья, в одной из крупнейших компаний электроэнергетики России и, без лишней скромности, лидера в части внедрения автоматизации управления производством был утвержден СТО на АСУ ТП, в котором часть описанных рекомендаций уже учтена. Например, размещение коммутаторов в отдельных шкафах введено в требования, а не в рекомендации. Более того, в рекомендации занесено применение одного шкафа ЛВС при небольшом количестве коммутаторов. В указанном СТО постоянно идут ссылки на СТО по компоновке шкафов РЗА, но это за неимением лучшего. В основном СТО по компоновке РЗА удовлетворяет большинству требований к шкафам АСУ ТП, и на него даже можно опираться, отстаивая свою позицию в споре с проектантами и поставщиками. Но если шкафы РЗА в теории можно свести к единому знаменателю, то при компоновке оборудования АСУ ТП есть нюансы, требующие если не отдельного СТО по компоновке шкафов АСУ ТП, то дополнения к существующим стандартам. Это тем более было бы полезно, учитывая, что решения, применяемые в данной компании, часто берутся за образец при проектировании АСУ ТП объектов энергетики для других собственников.