Streszczenie: Wraz z rozwojem odnawialnych źródeł energii w obrębie sieci dystrybucyjnej została dodana znaczna ilość generacji rozproszonej opartej na odnawialnych źródłach energii (OZE). Model nowoczesnego systemu energetycznego opiera się na architekturze sieci wzajemnie ze sobą powiązanych elementów wytwórczych, magazynujących czy odbiorczych, których podstawową cechą jest silnie rozproszona lokalizacja w obrębie systemów dystrybucyjnych. Z racji wzajemnych oddziaływań mających końcowy wpływ na stabilne działanie sieci dystrybucyjnej wymagana jest realizacja opomiarowania i sterowania elementami systemu w sposób scentralizowany lub skorelowany obszarowo. Istnieje zatem konieczność organizacji komunikacji do rozproszonych obiektów w sposób bezpieczny przy uwzględnieniu specyfiki wymagań technologicznych. Artykuł opisuje zarys problematyki związanej z zagadnieniami bezpiecznej komunikacji z rozproszonymi urządzeniami energetycznymi w kontekście wymagań związanych m.in. ze standaryzacją IEC 61850.

WSTĘP
Trwający już od wielu lat proces zmian w obrębie generacji energii elektrycznej, zmieniający udział w wytwarzanej energii, na korzyść rozproszonych geograficznie odnawialnych źródeł wpłynął diametralnie na zagadnienia związane z modelowaniem, projektowaniem, ale również nadzorem i utrzymaniem sytemu elektroenergetycznego. Zasięg tych zmian ingeruje głównie infrastrukturę dystrybucyjną energii elektrycznej nie bez wpływu jednak na infrastrukturę przesyłową. Utrzymanie zdolności oddawania wytworzonej energii przy wymaganiach stabilności sieci elektroenergetycznej i zapewnieniu energii elektrycznej o gwarantowanych odbiorcy parametrach wymaga niezwłocznej transformacji stosowanych rozwiązań i systemów informatycznych. Poprzez transformacje, możemy rozumieć tu zmiany zarówno rozwiązań w obrębie automatyki stacyjnej, metod i protokołów, ale również ewolucję w systemach odpowiadających za łączność z rozproszonymi urządzeniami elektroenergetycznymi w celu ich korelacji z całym systemem.

W nowoczesnych elektroenergetycznych systemach cyfrowych coraz większą rolę biorą udział rozwiązania oparte na zbiorze norm i dokumentów opisywanych jako IEC 61850, gdzie zdefiniowano w pełni cyfrowe metody pomiaru, zabezpieczeń i sterowania, które są połączone poprzez sieć komunikacji bazującą głównie na rozwiązaniach Ethernet. Komunikacja Ethernet jest tu jednak poddana pewnym rygorom wynikającym z wymagań technologicznych dla protokołów realizujących funkcje pomiarowe i zabezpieczeniowe takich jak gwarantowane opóźnienie maksymalne czy zdolność do przenoszenia precyzyjnej synchronizacji czasu. Rozważając zatem sytuacje, gdzie wraz z rozproszoną i rozdrobnioną architekturą urządzeń elektroenergetycznych pojawia się tożsama architektura komunikacyjna należy zauważyć wyzwania związane z utrzymaniem integralności ruchu i potencjalnie związane z tym zagrożenia bezpieczeństwa. Scentralizowana obszarowo komunikacja potrzebna jest do utrzymania stabilności systemu, a jej brak lub zakłócenie w najgorszym przypadku ingerencja w dane wynikająca z ataku cybernetycznego może przyczynić się do awarii i załamania systemu. Sytuację utrudnia konieczność uwzględnienia wymagań technologicznych utrudniających zastosowanie mechanizmów bezpieczeństwa znanych z rozwiązań sieci IT. W publikacji zostaną rozważone ogólne wymagania i zalecenia dla systemów komunikacji z rozproszonymi zasobami energetycznymi DER (Distributed Energy Resources), które należy wziąć pod uwagę przy projektowaniu systemu w celu stworzenia działającej i bezpiecznej architektury.

ARCHITEKTURA SYSTEMU KOMUNIKACYJNEGO I WYMAGANIA TRANSMISYJNE ZWIĄZANE Z WYKORZYSTYWANYMI TECHNOLOGIAMI
Rozważając model systemu energetycznego z zasobami DER przedstawiony na Rysunku 1 pojawia się obraz wysp energetycznych związanych z lokalizacją mniejszych źródeł generacji konwencjonalnej, generacji OZE jak również skorelowanych z nimi elementów magazynujących, które są dołączone do systemu dystrybucyjnego. Elementy generacyjne i magazynujące mogą być grupowane w klastry i w ramach naturalnych procesów może zaistnieć potrzeba pracy autonomicznej grupy urządzeń. Jednakże, całość zasobów rozproszonych pracuje w obrębie infrastruktury sieci dystrybucyjnej wraz z niezbędnymi elementami pomiarowymi, zabezpieczeniowymi oraz sterującymi. Każdy element systemu w sieci automatycznych cyfrowych rozwiązań elektroenergetycznych to jest element posiadający wewnętrzny kontroler z funkcjami komunikacyjnymi. Zachowanie elementu generacyjnego czy magazynującego może zatem być programowane i sterowane w sposób lokalny i/lub zdalny.

Rys. 1. Przykładowa architektura komunikacji z zasobami rozproszonymi

Koncepcja sterownia może i musi wynikać z potrzeby utrzymania systemu w stanie stabilnym pozwalającym na dostarczanie energii elektrycznej odbiorcom z wymaganymi wskaźnikami jakościowymi. O ile w chwili obecnej mniejsze systemy generacji i magazynowania pracują autonomicznie kontrolując parametry lokalnie, to już wyraźnie widać, że takie podejście będzie rodziło szereg problemów. Pojawia się bowiem rywalizacja o zdolność oddania energii do systemu jak również rywalizacja czynników ekonomicznych destabilizujących system i technicznych wymagających zadanych parametrów. Rozwiązanie jest zatem jedno, czyli sterowanie i koordynacja zasobów obszarowo w sposób scentralizowany przez operatora sieci dystrybucyjnej (OSD). Dla realizacji tego celu potrzebne jest zatem zorganizowanie ciągłej i bezpiecznej komunikacji z urządzeniami DER, ale również z urządzeniami pomiarowymi i zabezpieczającymi.

Ewolucja rozwiązań stacyjnych cyfrowych zautomatyzowanych stacji elektroenergetycznych opartych na dokumentach IEC 61850 wprowadziła na stacje elektroenergetyczne nowe technologie pomiarowe jak i zabezpieczeniowe takie jak Sampled Values (SV), Phasor Measurement Units (PMU) czy Generic Object Oriented Substation Events (GOOSE). Są one niezbędne dla zarządzania i utrzymania dynamicznego sytemu dystrybucyjnego. Jednakże, definiują one nam nowe wymagania na sieć transmisji danych tj. maksymalne opóźnienie, packet jitter oraz jakość synchronizacji czasu, którą musimy dostarczyć do urządzeń pomiarowych i zabezpieczających. Zatem ważnym aspektem dla poprawnie zaprojektowanej i zbudowanej sieci komunikacji rozproszonej jest zrozumienie krytycznej roli spełnienia wymienionych parametrów sieci na poprawne funkcjonowanie technologii. Następnym krokiem będzie zaimplementowanie adekwatnych rozwiązań bezpieczeństwa w taki sposób, aby nie zakłócić funkcjonowania wspomnianych rozwiązań.

Istotnym zagadnieniem staje się selekcja rozwiązań na funkcjonujące w obrębie stacji jak i wewnętrznej sieci technologicznej w ramach komunikacji z systemami nadrzędnymi oraz na te, które muszą zostać użyte poza obrębem stacji i dostarczone do zasobów DER.

Na Rysunku 2 został przedstawiony przykładowy model komunikacyjny z zaznaczonymi związanymi z nim wymaganiami na parametry sieci.

Rys. 2. Przykładowy model komunikacyjny z podziałem na obszary w obrębie systemu

Przedstawione zostały zasięgi wspomnianych technologii oraz wymagane opóźnienia (ang. latency) w zależności od zastosowanych protokołów. Określone są również wymagane dokładności precyzyjnej synchronizacji czasu, której dystrybucja odbywa się teraz w sposób scentralizowany. Co należy zauważyć, IEC 61850 definiuje działanie pewnych rozwiązań w obrębie warstwy drugiej modelu, co stanowi dodatkowe utrudnienie dla wynoszenia komunikacji poza obręb stacji z wykorzystaniem mechanizmów sieci Wide Area Network (WAN). Jak wynika ze standardów i co zostało pokazane na rysunku maksymalne wartości opóźnień dla niektórych funkcji zabezpieczeniowych dla drogi komunikacyjnej nie powinny przekraczać 3ms. Natomiast dokładność precyzyjnej synchronizacji czasu dla urządzeń pomiarowych powinna się mieścić w zakresie 1us. Nakładając na to funkcje bezpieczeństwa w postaci szyfrowania, kontroli dostępu, śledzenia stajemy przed wyzwaniem implementacyjnym. Pojawia się pytanie jakie zastosować mechanizmy szyfrowania i jakie kanały komunikacyjne. Jak powinno również wyglądać przełączanie ścieżek na protekcję, zwłaszcza, że w funkcjach zabezpieczeniowych IEC 61850 rekomenduje zastosowanie technologii bez stratnych protokołów protekcyjnych PRP/HSR. Odpowiedzi na wspomniane pytania zostaną przedstawione w rozdziale 4 po rozważaniach dotyczących standardów bezpieczeństwa funkcjonujących w obrębie infrastruktury i rozwiązań energetycznych oraz modeli zagrożeń.

STANDARYZACJA W ZAKRESIE BEZPIECZEŃSTWA, ZALECENIA I ZAGROŻENIA
W ramach prac nad zagadnieniami bezpieczeństwa w energetycznej infrastrukturze komunikacyjnej zostały opracowane dwa standardy, a właściwie dwa zbiory dokumentów pod zbiorczymi nazwami tj.:

1. IEC TS 62443 – Security for industrial process measurement and control – Network and system Security
2. IEC TS 62351 – Power system management and associated information exchange – Data and Communication Security

IEC TS 62433, skupia się na bezpieczeństwie komunikacji i kontroli systemów przemysłowych. Standard ten ma na celu dostarczenie wytycznych i zaleceń dotyczących zabezpieczania tych systemów przed zagrożeniami cybernetycznymi. Zawiera informacje dotyczące sposobów identyfikowania i oceny zagrożeń, projektowania zabezpieczeń, monitorowania systemów oraz reagowania na incydenty związane z bezpieczeństwem cybernetycznym w kontekście systemów komunikacji w aplikacjach przemysłowych. W obrębie standardu zostały zdefiniowane poziomy bezpieczeństwa od SL1 do SL4, których spełnienie określa poziom odporności systemu. Chociaż standard nie jest dedykowany ściśle do zastosowania w energetyce to z racji właśnie zebrania wymagań i dojrzałą formę jest często wykorzystywany dla specyfikacji bezpieczeństwa w infrastrukturze energetycznej.

IEC TS 62351 natomiast to grupa standardów dotyczących zabezpieczeń w systemach kontroli i zarządzania w energetyce. Zbiór dokumentów traktuje zagadnienia bezpieczeństwa bardzo szeroko. Obejmuje to ochronę integralności danych, poufność i autentykację, modele zagrożeń i wiele innych aspektów. Nie mniej jednak dokumenty są w fazie stałej edycji i rozwoju, a zdaniem autora określenie finalnych wymagań dla niektórych części jest jeszcze odległe. Jednakże, to w tej grupie dokumentów pojawia się próba sformułowania przewodnika dla bezpieczeństwa komunikacji w sieciach energetycznych w kontekście wymagań technologicznych.

Przechodząc do rozważań zagadnień związanych z bezpieczeństwem w energetycznym systemie komunikacyjnym jako główne zadania do realizacji celu czyli podniesienia poziomu bezpieczeństwa należy wymienić co następuje.

• Autentykacja: Wszystkie urządzenia powinny być zweryfikowane przed tym, jak zostaną dołączone do sieci energetycznej lub przed rozpoczęciem komunikacji z nimi. Autentykacja pozwala na zapobieganie podłączeniu nieupoważnionych zasobów DER.
• Autoryzacja: Po uwierzytelnieniu urządzenia, system powinien określić, jakie czynności i funkcje są dostępne dla danego urządzenia DER na podstawie jego uprawnień. To zapobiega nieautoryzowanemu dostępowi i kontroli nad urządzeniem.
• Szyfrowanie danych: Dane przesyłane między systemem zarządzania energią a zasobami DER powinny być szyfrowane, aby zapewnić poufność i integralność danych. Szyfrowanie poprawia ochronę danych przed nieuprawnionym dostępem i manipulacją danymi.
• Dzielenie ruchu: Rozdzielanie ruchu na wiele łączy może znacząco utrudnić realizację ataku w postaci podsłuchu czy przejęcia kontroli.
• Ochrona przed atakami cybernetycznymi: Zasoby cyfrowe są podatne na ataki cybernetyczne, które mogą prowadzić do zakłóceń w dostawach energii lub utraty kontroli nad urządzeniem. Dlatego systemy zarządzania muszą być wyposażone w mechanizmy ochrony przed atakami, takie jak firewall, wykrywanie narażenia i aktualizacje oprogramowania.
• Zarządzanie kluczami: Zarządzanie kluczami kryptograficznymi jest istotne w kontekście bezpieczeństwa komunikacji z zasobami DER. Klucze powinny być przechowywane i zarządzane w sposób bezpieczny, aby uniknąć potencjalnych naruszeń bezpieczeństwa.
• Monitorowanie i reagowanie: Systemy zarządzania energią powinny być zdolne do monitorowania komunikacji z zasobami DER w czasie rzeczywistym i wykrywania nieprawidłowości. Reagowanie na potencjalne zagrożenia jest kluczowe dla zachowania bezpieczeństwa sieci. Ważnym aspektem szczególnie dla ataków MITM (Man In the Middle) jest stałe monitorowanie łączy i urządzeń pod kątem naruszeń.
• Ochrona fizycznego dostępu: Ochrona fizycznego dostępu do obiektów i urządzeń oraz infrastruktury stanowi kluczowy aspekt zapobiegający najgroźniejszym naruszeniom integralności. To one mogą skutkować najgroźniejszymi efektami ataków.
• Standaryzacja i regulacje: W organizacji powinny być określone wewnętrzne regulacje dotyczące bezpieczeństwa komunikacji z zasobami DER. Przestrzeganie tych przepisów jest kluczowe dla zapewnienia zgodności i bezpieczeństwa.

Rozważając wachlarz zagrożeń i typowe modele możemy podzielić je na grupy takie jak:

• Nieautoryzowany dostęp do informacji: Wiąże się on z podsłuchem fizycznego medium transmisyjnego, analizą ruchu, skanowaniem łączy radiowych, czy dostępem do fizycznych dokumentów zawierających architekturę sieci, adresy IP, klucze czy hasła.
• Nieautoryzowany dostęp i modyfikacja informacji: Wiąże się on z uzyskaniem fizycznego dostępu do medium lub kontroli na poziomie umożliwiającym nie tylko podsłuch, ale również modyfikacje informacji. Można to osiągnąć poprzez fizyczne wpięcie do infrastruktury urządzeń obcych realizujących atak MITM jak również poprzez taką modyfikację konfiguracji tras routingu pozwalającą na pełną filtrację i modyfikację ruchu. Jest to scenariusz szczególnie groźny w kontekście systemów energetycznych.
• Odmowa usługi lub zapobieganie autoryzowanemu dostępowi: Polega na takiej modyfikacji zachowania elementu sieciowego (wirus, trojan, spoofing, jamming, inne), które spowodują niewłaściwą realizację dedykowanych zadań (np. zabezpieczeniowych, synchronizacji czy innych krytycznych) lub też braku możliwości komunikacji w celu pozyskania informacji lub rekonfiguracji urządzeń.

Jest oczywiście możliwość wydzielenia jeszcze innych modeli zagrożeń. Nie mniej jednak te wydają się szczególnie ważne z poziomu oddziaływania na system w obrębie obszaru komunikacji.

PROPOZYCJE ROZWIĄZAŃ DOSTĘPU DO ROZPROSZONYCH URZĄDZEŃ ELEKTROENERGETYCZNYCH NA BAZIE OFERTY BITSTREAM S.A.
Biorąc pod uwagę powyższe rozważania dotyczące wymagań technologicznych jak aspektów bezpieczeństwa w firmie BITSTREAM S.A. zostały opracowane rozwiązania pozwalające na realizację bezpiecznej komunikacji z zasobami DER przy zachowaniu wymaganych przez IEC 61850 usług i parametrów. Przy opracowywaniu rozwiązań wzięto pod uwagę konieczność przeniesienia precyzyjnej synchronizacji czasu zgodnie z wymaganymi przez standard profilami i dokładnością <1us oraz zagadnienia ruchowe związane z funkcjami zabezpieczeniowymi GOOSE i wymagania na wnoszone opóźnienia.

Ze względu na konieczność zachowania operacyjności rozwiązania w różnych częściach sieci opracowano rozwiązanie programowe routingu w funkcjami bezpieczeństwa, które może zostać osadzone na zewnętrznej platformie sprzętowej wykorzystując jej zasoby jak również na dedykowanych rozwiązaniach urządzeń BITSTREAM pozwalających na szyfrowanie w warstwie drugiej, przenoszenie precyzyjnej synchronizacji czasu PTP v.2 (Precision Time Protocol v.2) zgodnie z wymaganymi profilami jak i dodatkowe funkcje monitorowania. Przykładową architekturę systemu przedstawia Rysunek 3.

Rys. 3. Rozwiązania BITSTREAM w komunikacji z zasobami rozproszonymi

Zintegrowana platforma bezpieczeństwa BITROSe pozwala m.in. na implementację następujących mechanizmów bezpieczeństwa:

• Monitorowanie i ochrona naruszeń warstwy fizycznej i części fizycznej urządzenia powalająca na ochronę przed atakami MITM z infrastrukturze fizycznej oraz detekcję naruszeń.
• Szyfrowanie na poziomie warstwy drugiej L2 (MACSEC) dla usług krytycznych czasowo oraz L3 (IPSEC, VPN).
• Możliwość łączenia systemów kryptograficznych [CS2] np. MACSEC – >IPSEC, IPSEC -> IPSEC, itp.
• Systemy dynamicznego routingu ze zbieżnością sieci L3 (ISO OSI) poniżej 20ms oraz typowe mechanizmy jak OSFP, BGP, inne.
• Dzielenie ruchu na łącza z priorytetyzacją.
• Separacja sieci w warstwie L3 (Virtualne Routery) i L2 niezależne kanały MACSEC.
• Bezpieczeństwo konfiguracji i zarządzania, dostęp (AAA) Authentication, Autorization and Accounting, wyłączanie dostępu, usług, konfiguracja przez pamięć na karcie.
• Firewall L2,L3,L4 z (DNAT) Destination Network Address Translation.
• Bezstratna protekcja w przypadku przełączania danych – technologie 0 utraty pakietów L3 oraz opcjonalnie L2.
• Wbudowane interfejsy do systemów radiowych LTE 4G lub 5G jako kanałów komunikacji zapasowej lub podstawowej w przypadku braku dostępu do łącz fizycznych.
• Zgodność z IEC TS 62443 – Security for industrial process measurement and control – Network and system Security.
• Wsparcie dla protokołów cyfrowych zautomatyzowanych stacji elektroenergetycznych IEC 61850, (MMS, GOOSE, PDC).
• Interfejsy dodatkowe (komunikacja szeregowa, stykowe, pomiarowe) umożliwiające integrację danych z OZE.
• Precyzyjna synchronizacja czasu PTP, GNSS dla urządzeń pomiarowych (Analizatory Jakości, PMU, inne).
• Możliwość bezpośredniej współpracy ze SCADA.

Zastosowane mechanizmy szyfrowania L2 MACSEC pozwalają w sposób bezpieczny realizować usługi precyzyjnej synchronizacji czasu, transmisji sygnałów zabezpieczeń GOOSE czy wykorzystanie funkcji zabezpieczeniowych urządzeń PMU. Dla protokołów mniej wrażliwych czasowo można swobodnie łączyć techniki szyfrowania na warstwach wyższych. Ochrona integralności obejmuje zdarzenia ingerencji w warstwę fizyczną jak również w samo urządzenie.

Poprzez oddzielenie części programowej od sprzętowej całość może być implementowana w różnych konfiguracjach sprzętowych od tych bardziej zaawansowanych do prostych, co daje swobodne skalowanie kosztów w zależności od miejsca implementacji.

Podsumowując, bazując na standardowych mechanizmach szyfrowania oraz na szeregu funkcji dodatkowych unikalnych dla rozwiązania BITSTREAM, można osiągnąć bezpieczne i operacyjne dla technologii IEC 61850 rozwiązania komunikacyjne, niezbędne dla energetyki z OZE. Założeniem rozwiązań cyfrowych jest wykorzystanie sterowania wspomaganego algorytmami uczenia maszynowego pozwalającymi na semi-automatyczne lub całkowicie automatyczne sterowanie zasobami w systemie pod wyznaczone wskaźniki jakościowe. Założenie to wymaga komunikacji z każdym elementem infrastruktury i dla niezawodności musi ona być zrealizowana w sposób bezpieczny.

Mgr inż. Krzysztof Nowacki

Dyrektor ds. Badań i Rozwoju Bitstream S.A

www.bitstream.pl

LITERATURA
1. IEC TS 612351-1 Power systems management and associated information exchange – Data and communications security. Part 1: Communication network and system security – Introduction to security issues
2. IEC TS 62433-1 Industrial communication networks – Network and system security – Part 3-1: Security technologies for industrial automation and control systems
3. IEC 62439-3 (International Standard). Industrial Communication Networks – High Availability Automation Networks – Part 3: Parallel Redundancy Protocol (PRP) and High-availability Seamless Redundancy (HSR)
4. IEEE Std C37.238™-2017, IEEE Standard Profile for Use of IEEE 1588™ Precision Time Protocol in Power System Applications
5. IEC TR 61850-90-12 :2020 Communication networks and systems for power utility automation – Part 90-12: Wide area network engineering guidelines
6. IEEE 1588-2019 – IEEE Standard for a Precision Clock Synchronization Protocol for Networked Measurement and Control Systems
7. IEC TR 61850-90-5:2012 Communication networks and systems for power utility automation – Part 90-5: Use of IEC 61850 to transmit synchrophasor information according to IEEE C37.118
8. Practical aspects of IEC 61850-9-2 implementation in microprocessor-based protection and control IEDs
9. WP-IEC-61850-Architectures – 2021
10. IEC 61850-5:2013 – Communication requirements for functions and device models