Современное состояние GPU

Введение

Актуальность работы. С самого начала графические процессоры (GPU) использовались для специализированных интенсивных вычислений в области компьютерной графики. Рендеринг 3D-графики — хороший пример очень интенсивных параллельных вычислений. Он включает вычисления как для геометрии (вершины), так и для растеризации (пиксели). Сильное давление со стороны быстрорастущей игровой индустрии и потребность в быстрой графике высокой четкости привели к постоянным инновациям и эволюции графических процессоров в сторону высокопараллельных программируемых процессоров с большим количеством GFLOPS и высокой пропускной способностью. Графические процессоры можно рассматривать как сопроцессоры для ЦП, которые подходят для задач, демонстрирующих высокую регулярность и арифметическую интенсивность. Как правило, последовательные части программы выполняются на ЦП, а части с интенсивными вычислениями выгружаются на ГП для ускорения всего процесса. Графические процессоры используются во многих приложениях. В самом начале они использовались в основном в академических кругах, но поскольку они принесли значительное ускорение в нескольких областях, они были приняты более широким исследовательским сообществом. Цель работы – рассмотреть современное состояние GPU.Задачи:1. Выделить особенности GPU;2. Дать оценку особенностям современных GPU.1 Особенности GPUСовременные графические процессоры используют большую часть своих транзисторов для выполнения вычислений, связанных с трехмерной компьютерной графикой. В дополнение к 3D-оборудованию современные графические процессоры включают базовые возможности 2D-ускорения и буфера кадров (обычно с режимом совместимости с VGA). Более новые карты, такие как AMD/ATI HD5000-HD7000, даже не имеют 2D-ускорения; он должен эмулироваться 3D-оборудованием. Первоначально графические процессоры использовались для ускорения работы с интенсивным использованием памяти при наложении текстур и рендеринге полигонов, а позже были добавлены блоки для ускорения геометрических вычислений, таких как вращение и перевод вершин в другие системы координат. Недавние разработки в графических процессорах включают поддержку программируемых шейдеров, которые могут манипулировать вершинами и текстурами с помощью многих из тех же операций, которые поддерживаются центральными процессорами, методы передискретизации и интерполяции для уменьшения алиасинга и очень высокоточные цветовые пространства. Учитывая, что большинство этих вычислений включают матричные и векторные операции, инженеры и ученые все чаще изучают использование графических процессоров для неграфических вычислений; они особенно подходят для решения других смущающе параллельных задач.Несколько факторов конструкции графического процессора влияют на производительность карты для рендеринга в реальном времени. Общие факторы могут включать в себя размер соединительных путей при изготовлении полупроводниковых устройств, частоту тактового сигнала, а также количество и размер различных кэш-памяти на кристалле. Кроме того, количество потоковых мультипроцессоров (SM) для графических процессоров NVidia или вычислительных единиц (CU) для графических процессоров AMD, которые описывают количество ядерных встроенных процессорных блоков в чипе графического процессора, которые выполняют базовые вычисления, обычно работая параллельно с другие SM/CU на GPU. Производительность графических процессоров обычно измеряется в операциях с плавающей запятой в секунду или флопс, а графические процессоры 2010-х и 2020-х годов обычно обеспечивают производительность, измеряемую в терафлопс (TFLOPS). Это приблизительный показатель производительности, поскольку на реальную скорость отображения могут влиять и другие факторы [1].С появлением глубокого обучения важность графических процессоров возросла. В исследовании, проведенном Indigo, было обнаружено, что при обучении нейронных сетей глубокого обучения GPU могут быть в 250 раз быстрее, чем CPU. В этой области существовала некоторая конкуренция со стороны ASIC, в первую очередь с блоком тензорной обработки (TPU), созданным Google. Однако ASIC требуют внесения изменений в существующий код, а графические процессоры по-прежнему очень популярны.Большинство графических процессоров, выпущенных с 1995 года, поддерживают цветовое пространство YUV и аппаратные наложения, важные для воспроизведения цифрового видео, а многие графические процессоры, выпущенные после 2000 года, также поддерживают примитивы MPEG, такие как компенсация движения и iDCT. Этот процесс декодирования видео с аппаратным ускорением, при котором части процесса декодирования видео и постобработки видео выгружаются на аппаратное обеспечение графического процессора, обычно называется «декодирование видео с ускорением графического процессора», «декодирование видео с помощью графического процессора», «декодирование видео с аппаратным ускорением графического процессора». декодирование видео» или «декодирование видео с помощью аппаратного обеспечения графического процессора».Более поздние видеокарты даже декодируют видео высокой четкости на карту, разгружая центральный процессор. Наиболее распространенными API-интерфейсами для декодирования видео с ускорением на GPU являются DxVA для операционной системы Microsoft Windows и VDPAU, VAAPI, XvMC и XvBA для операционных систем на базе Linux и UNIX. Все, кроме XvMC, способны декодировать видео, закодированные в форматах MPEG-1, MPEG-2, MPEG-4 ASP (MPEG-4 Part 2), MPEG-4 AVC (H.264/DivX 6), VC-1, WMV3/WMV9, Xvid/OpenDivX (DivX 4) и кодеки DivX 5, тогда как XvMC способен декодировать только MPEG-1 и MPEG-2.Существует несколько специализированных аппаратных решений для декодирования и кодирования видео.Графические процессоры самого мощного класса обычно взаимодействуют с материнской платой с помощью слота расширения, такого как PCI Express (PCIe) или Accelerated Graphics Port (AGP), и обычно могут быть относительно легко заменены или обновлены, при условии, что материнская плата способна поддерживать обновление. Некоторые видеокарты по-прежнему используют слоты PCIe Peripheral Component Interconnect (PCI), но их пропускная способность настолько ограничена, что они обычно используются только тогда, когда слот PCIe или AGP недоступен.Выделенный графический процессор не обязательно является съемным и не обязательно подключается к материнской плате стандартным образом. Термин «выделенный» относится к тому факту, что выделенные графические карты имеют ОЗУ, предназначенное для использования картой, а не к тому факту, что большинство выделенных графических процессоров являются съемными. Кроме того, эта оперативная память обычно специально выбирается для ожидаемой последовательной нагрузки видеокарты (см. GDDR). Иногда системы с выделенными дискретными графическими процессорами назывались системами «DIS» [2], в отличие от систем «UMA» (см. следующий раздел). Выделенные графические процессоры для портативных компьютеров чаще всего подключаются через нестандартный и часто проприетарный слот из-за ограничений по размеру и весу. Такие порты по-прежнему могут считаться PCIe или AGP с точки зрения их логического хост-интерфейса, даже если они физически не взаимозаменяемы со своими аналогами.Такие технологии, как SLI и NVLink от Nvidia и CrossFire от AMD, позволяют нескольким графическим процессорам одновременно рисовать изображения для одного экрана, увеличивая вычислительную мощность, доступную для графики. Однако эти технологии становятся все более редкими, так как в большинстве игр не полностью используются несколько графических процессоров, поскольку большинство пользователей не могут их себе позволить. Несколько графических процессоров по-прежнему используются на суперкомпьютерах (например, в Summit), на рабочих станциях для ускорения видео (одновременная обработка нескольких видео) и 3D-рендеринга [4] для визуальных эффектов и для моделирования и для ИИ для ускорения обучения, как в случае с линейкой рабочих станций и серверов DGX от Nvidia, графическими процессорами Tesla и грядущими графическими процессорами Intel Ponte Vecchio.Интегрированный графический процессор (IGPU), интегрированная графика, общие графические решения, интегрированные графические процессоры (IGP) или унифицированная архитектура памяти (UMA) используют часть системной оперативной памяти компьютера, а не выделенную графическую память. IGP могут быть интегрированы в материнскую плату как часть набора микросхем (северного моста) [5] или на одном кристалле (интегральная схема) с ЦП (например, AMD APU или Intel HD Graphics). На некоторых материнских платах [3] IGP AMD могут использовать выделенную память бокового порта. Это отдельный фиксированный блок высокопроизводительной памяти, предназначенный для использования графическим процессором. В начале 2007 года на компьютеры со встроенной графикой приходилось около 90% всех поставок ПК. Исторически сложилось так, что встроенная обработка считалась непригодной для игры в 3D-игры или запуска графически интенсивных программ, но могла запускать менее интенсивные программы, такие как Adobe Flash. Примерами таких IGP могут быть предложения от SiS и VIA примерно в 2004 году. Однако современные интегрированные графические процессоры, такие как AMD Accelerated Processing Unit и Intel HD Graphics, более чем способны обрабатывать 2D-графику или 3D-графику с низким уровнем нагрузки.Поскольку вычисления графического процессора чрезвычайно интенсивно используют память, интегрированная обработка может конкурировать с центральным процессором за относительно медленную системную оперативную память, поскольку у него минимальное количество выделенной видеопамяти или она отсутствует вовсе. IGP может иметь пропускную способность памяти до 29,856 ГБ/с из ОЗУ системы, тогда как пропускная способность видеокарты может достигать 264 ГБ/с между ОЗУ и ядром графического процессора. Эта пропускная способность шины памяти может ограничить производительность графического процессора, хотя многоканальная память может смягчить этот недостаток. В старых интегрированных графических чипсетах не было аппаратного преобразования и освещения, но в новых они есть.Этот новый класс графических процессоров конкурирует с интегрированной графикой на рынке недорогих настольных компьютеров и ноутбуков. Наиболее распространенными реализациями этого являются HyperMemory от ATI и TurboCache от Nvidia.Гибридные видеокарты несколько дороже встроенной графики, но намного дешевле дискретных видеокарт. Они совместно используют память с системой и имеют небольшой выделенный кэш памяти, чтобы компенсировать высокую задержку системной оперативной памяти. Технологии PCI Express могут сделать это возможным. Хотя эти решения иногда рекламируются как имеющие до 768 МБ ОЗУ, это относится к тому, какой объем может быть разделен с системной памятью.2 Особенности современных GPUНа ранних этапах разработки графических процессоров некоторые исследователи заметили вычислительную мощность этих процессоров и попытались использовать ее для решения общих задач, требующих больших вычислительных ресурсов. Поскольку типичные графические сцены состоят из примитивов, определенных с меньшим числом вершин, чем число пикселей на современных дисплеях, программируемый этап с самыми высокими арифметическими скоростями в современном конвейере графического процессора — это этап пиксельного шейдера. Поэтому типичная программа GPU использовала пиксельный процессор в качестве вычислительного механизма для вычислений общего назначения на GPU [3].Однако это был сложный процесс, поскольку он включал использование графических API, таких как OpenGL или Direct3D, для запуска вычислений. Помимо изучения основ API, также необходимо было выразить общую вычислительную задачу в смысле графических примитивов и написать соответствующую шейдерную программу. Опять же, выходные данные нужно было преобразовать из пиксельной формы, хранящейся в кадровом буфере, в данные, значимые для программиста. Очень хороший пример такой программной модели для общей задачи гидродинамического моделирования можно найти в [2]. Поскольку OpenGL и Direct3D в первую очередь предназначены для использования с графикой, не было доступных общих функций, таких как пользовательские типы данных или побитовые операторы. Кроме того, попыткам программирования на GPU мешало отсутствие специальной цепочки инструментов — надлежащей поддержки компилятора, инструментов отладки и профилирования и библиотек. Несмотря на довольно неуклюжий способ программирования в начале, исследователи продемонстрировали полезность графических процессоров для решения задач общего назначения в различных областях. В работах [1] и [2] сообщается о значительном ускорении в областях вычислительной физики (гидродинамика, игровая физика и т. д.), вычислительной биологии (свертывание белков) и обработки изображений (магнитно-резонансная томография). Много других примеров можно найти в [3], включая обзор подходящих методов программирования и структур данных для программирования GPU.Первый полностью унифицированный графический процессор, NVIDIA GeForce 8800, принес массив унифицированных процессоров, которые выполняют логический графический конвейер с поддержкой некоторой логики с фиксированными функциями. Затенение вершин, затенение геометрии и затенение пикселей выполнялись на одном и том же массиве процессоров и использовали один и тот же пул ресурсов. Этот дизайн преследовал гораздо лучший баланс рабочей нагрузки, поскольку во время выполнения разных этапов требуется разное количество ресурсов, которые можно было бы динамически распределять. GeForce 8800 также был первым графическим процессором, использующим скалярные потоковые процессоры, а не векторные процессоры [5]. Он принес более широкий набор инструкций для поддержки C и других языков общего назначения, включая арифметику с целыми числами и IEEE 754 с плавающей запятой. Кроме того, в GeForce 8800 устранены ограничения на доступ к памяти и предоставлены инструкции по загрузке и сохранению доступа к памяти с байтовой адресацией. Он предоставил новое оборудование и инструкции для поддержки параллельных вычислений, связи и синхронизации. Современные графические процессоры NVIDIA программируются с помощью простого расширения языка C и соответствующего интерфейса прикладного программирования или, в последнее время, с помощью OpenCL API. Как и NVIDIA, ATI (теперь AMD) также представила унифицированную шейдерную архитектуру с процессорами серии Radeon 2000/3000. В отличие от NVIDIA, которая представила программируемость графического процессора через расширение языка C, AMD сначала представила программируемость через низкоуровневый программный интерфейс, называемый Close-To-Metal, который не имел большого успеха. Его преемник, Stream SDK, включал язык Brook+ с открытым исходным кодом для GPGPU. В более поздних разработках AMD перешла на полностью поддерживаемый OpenCL в качестве основной платформы для программирования своих графических процессоров [2].CUDA (Compute Unified Device Architecture) — это параллельная компьютерная архитектура, разработанная NVIDIA, которая возникла в результате необходимости упростить использование графических процессоров для неграфических приложений. CUDA представила универсальную модель параллельного программирования в многопоточной среде с поддержкой синхронизации, атомарных операций и облегченного доступа к памяти. Программистам больше не нужно использовать графический API для выполнения неграфических вычислений.По сути, блоки обработки графического процессора следуют модели программирования с одной программой и несколькими данными (SPMD), поскольку многие элементы обрабатываются параллельно с использованием одной и той же программы. Элементы обработки (потоки) могут считывать данные из общей глобальной памяти (операция «сбора») и записывать обратно в произвольные места в общей глобальной памяти («операция разброса»). Как правило, потоки выполняют тот же код, что и модель выполнения SIMD. Однако, поскольку потоки могут следовать по разным путям выполнения посредством ветвления в одной и той же программе, это приводит к более общей модели программирования SPMD. Программы на платформе CUDA выполняются в режиме совместной обработки. Обычно приложение состоит из двух частей. Последовательные части приложения выполняются на ЦП (хосте), который отвечает за управление данными, передачу памяти и конфигурацию выполнения графического процессора. Интенсивные вычисления, параллельные части кода выполняются на графическом процессоре (устройстве) как специальные функции (ядра), которые вызываются ЦП. Ядро выполняется большим количеством легковесных потоков, которые выполняются на процессорах, называемых потоковыми мультипроцессорами (SM). Каждый потоковый мультипроцессор представляет собой SIMD-процессор, в настоящее время состоящий из 32 скалярных процессоров.Блоки потоков, выполняемые на одном и том же SM, совместно используют доступные ресурсы, такие как регистры и общую память. В зависимости от целевой коммерческой ниши современные графические процессоры имеют от 2 до 32 потоковых мультипроцессоров. Благодаря такой организации выполнения потоков ядро ​​очень хорошо масштабируется на любое количество параллельных процессоров. Эффективное управление потоками в графических процессорах позволяет приложениям использовать гораздо больший объем параллелизма, чем доступно через аппаратные исполнительные ресурсы, практически без потерь [1]. Скомпилированная программа CUDA автоматически выполняется на графическом процессоре любого размера, используя больший параллелизм на графических процессорах с большим количеством процессорных ядер и потоков [5]. Количество потоков в блоке и количество блоков в сетке задаются конфигурацией выполнения ядра. И блок, и сетка могут быть многомерными (1D, 2D и 3D) для поддержки различных шаблонов доступа к памяти. Каждый поток имеет уникальный индекс потока внутри блока, и каждый блок имеет уникальный идентификатор в сетке. Потоки могут получить доступ к этим идентификаторам и размерности через специальные встроенные переменные. Как правило, каждый поток использует свои собственные индексы для принятия решений о ветвлении и упрощения адресации памяти при обработке многомерных данных.CUDA позволяет синхронизировать потоки в одном блоке с помощью примитива барьерной синхронизации. Однако потоки в разных блоках потоков не могут взаимодействовать, поскольку они могут выполняться на разных потоковых мультипроцессорах. Глобальная синхронизация возможна только через повторяющиеся вызовы ядра, что является одним из неотъемлемых ограничений многоядерных архитектур.CUDA предлагает специальную иерархию памяти для поддержки быстрого параллельного выполнения. Потоки имеют доступ к регистрам, локальной памяти, разделяемой памяти, постоянной памяти, памяти текстур и глобальной памяти. Все потоки имеют доступ к медленной глобальной памяти устройства (DRAM). Однако доступ к глобальной памяти медленный (около 200 циклов) по сравнению с другими видами памяти, поэтому для временного хранения и повторного использования данных можно использовать другие меньшие по объему памяти. Каждый поток имеет монопольный доступ к заданным (выделенным) регистрам и локальная память. Хотя локальная память является частной для потока, она находится вне чипа. Следовательно, доступ к локальной памяти так же дорог, как и доступ к глобальной памяти [2]. Потоки в блоке могут обмениваться данными через разделяемую память для каждого блока. Общая память может рассматриваться как управляемая пользователем кэш-память (блокнот), поскольку к ней можно получить очень быстрый доступ (3-4 цикла). Программист несет ответственность за перенос данных в разделяемую память и их перемещение из нее. Кроме того, потоки могут обращаться к константной памяти, доступной только для чтения и кешированной, и текстурной памяти с помощью специальных аппаратных блоков.Доступ к глобальной памяти медленный (около 200 циклов) по сравнению с доступом к другим памяти в иерархии. Но поскольку приложения графического процессора обрабатывают огромные объемы данных, доступ к глобальной памяти следует тщательно продумать, чтобы достичь пиковой пропускной способности, доступной для графических процессоров. Кроме того, для достижения высокой степени использования пропускной способности память графического процессора организована в банки. В архитектуре графического процессора NVIDIA Tesla память разделена на 16 банков. Каждый банк может обслуживать один запрос памяти за цикл. Чтобы разрешить одновременный доступ, последовательные ячейки памяти располагаются в последовательных банках памяти. Множественные одновременные доступы к одному и тому же банку приводят к конфликту банков, и конфликтующие доступы затем сериализуются. При доступе к глобальной памяти максимальное использование пропускной способности достигается, когда все потоки в половине деформации обращаются к последовательным ячейкам памяти. Затем обращения к памяти объединяются в одну транзакцию памяти, и данные доставляются с высокой скоростью. Этот метод называется объединением памяти. По сути, программисты должны организовывать доступ к памяти таким образом, чтобы следовать этим благоприятным шаблонам.Для достижения высокой производительности графических процессоров многие вычисления должны выполняться между двумя обращениями к глобальной памяти. Чтобы улучшить повторное использование данных и повысить интенсивность вычислений, потоки могут взаимодействовать через разделяемую память для каждого блока. Обычно набор данных разбивается на подмножества, которые помещаются в общую память. Каждый блок потока загружает подмножество из глобальной памяти в разделяемую память, а затем выполняет вычисления с заданными элементами. Потоки используют общую память для временного хранения и совместной работы. Затем каждый блок потока записывает результаты из разделяемой памяти в глобальную память. Загрузка и хранение данных должны выполняться согласованным образом, чтобы использовать объединение памяти. Вышеописанный метод часто называют методом «тайлинга» для обработки данных на графических процессорах.Каждый потоковый мультипроцессор в графическом процессоре имеет ограниченный набор ресурсов выполнения, таких как регистры, слоты блоков потоков, слоты потоков и разделяемая память. Эти ресурсы динамически распределяются между потоками во время выполнения. Можно запустить меньшее количество потоков, для каждого из которых требуется много регистров, или большое количество потоков, для которых требуется несколько регистров. Динамическое разделение ресурсов дает больше гибкости компиляторам и программистам, но также может привести к неполному использованию ресурсов и, следовательно, снижению производительности. Еще одну тему можно найти в [1].Производительность графического процессора и вычислительная мощность дают много возможностей для определенных классов приложений. Очень хороший обзор характеристик, которым должно удовлетворять приложение для успешного сопоставления с выполнением на GPU, можно найти в [3]. Во-первых, параллелизм должен быть существенным. Использование графического процессора зависит от высокой степени параллелизма в рабочей нагрузке. Графическому процессору также требуется значительная рабочая нагрузка, чтобы скрыть задержку памяти, поэтому вычислительные требования должны быть большими. Таким образом, высокая пропускная способность важнее задержки в системах с графическим процессором. Количество числовых вычислений, выполняемых за транзакцию памяти, должно быть на порядок выше, чтобы сохранить арифметическую интенсивность. С другой стороны, расхождений в исполнении следует избегать, насколько это возможно. Поскольку потоки запускаются пакетами, если потоки в пакете расходятся, при длительном выполнении возникает штраф. Наконец, использование полосы пропускания должно быть устойчивым. Графические процессоры имеют высокую пиковую загрузку пропускной способности в свою встроенную память и из нее. Но для таких приложений, как сортировка, которые имеют низкое отношение вычислений к пропускной способности, очень важно максимизировать когерентный доступ к памяти.
Заключение
С введением архитектуры графических процессоров Fermi в 2010 году NVIDIA уже предприняла шаги для повышения производительности и надежности графических процессоров. Архитектура Fermi ослабила некоторые ограничения на использование ресурсов, улучшила управление потоком, представила кэши L2 и унифицированное пространство памяти графического процессора. Внедрение кэшей L2 в значительной степени ослабило ограничения на объединение памяти, поскольку они обеспечивают поддержку на аппаратном уровне. Также было улучшено соединение с несколькими GPU с поддержкой прямой передачи памяти. В области API ожидается более широкое распространение OpenCL в сообществе программистов, поскольку его поддерживают основные конкуренты в этой области. OpenCL обеспечивает параллельные вычисления для более широкого набора устройств, поэтому по-прежнему существуют соображения по настройке производительности, но ожидается, что они будут смягчены с развитием драйверов OpenCL для различных архитектур. Судьба сопроцессоров в обычных компьютерах, таких как сопроцессоры с плавающей запятой, заключалась в том, чтобы оказаться в наборе микросхем или микропроцессоре. Хотя графические процессоры противостояли этой тенденции с постоянным повышением производительности, потенциальное повышение производительности могло мотивировать такие гибридные решения. Гибридные подходы CPU/GPU можно будет увидеть в обозримом будущем, когда все основные конкуренты объявят о своих новых гибридных архитектурах. Intel уже выпустила новую архитектуру SandyBridge со встроенным графическим процессором и анонсировала новую архитектуру MIC (много интегрированных ядер). У AMD есть аналогичный подход к мобильным устройствам, который называется Fusion. Также NVIDIA представила свой новый исследовательский подход к гетерогенным вычислениям под названием Echelon. В будущем ожидается, что архитектуры графических процессоров будут развиваться, чтобы еще больше расширить области применения, стать более гибкими и лучше подходящими для обработки произвольных потоков управления и шаблонов доступа к данным. Со многими приложениями, которые выиграли от ускорения графического процессора, вычисления на графическом процессоре будут становиться все более важными. Поскольку последовательные процессоры больше не масштабируются с удовлетворительной скоростью, программистам необходимо использовать параллелизм, предлагаемый многоядерными архитектурами, для повышения производительности, необходимой для предоставления большей ценности конечным пользователям.

Список использованной литературы

1. Микропроцессорные системы управления : учебное пособие для бакалавров по направлению подготовки "Агроинженерия" / сост. Н. П. Кондратьева [и др.]. - Ижевск : РИО Ижевская ГСХА, 2016. - 128 с. - URL: http://portal.izhgsha.ru/index.php?q=docs&download=1&parent=12766&id=13071; http://rucont.ru/efd/357540 2. Электроника, микропроцессорные средства и техника связи : Метод. указ. к лаб. работам для студентов дневного и заоч. обучения по спец. 311400 "Электрификация и автоматизация с.-х.". Ч. 2. Микропроцессоры / ИжГСХА ; Сост.: П.Н. Покоев; Рец.: П.Л. Лекомцев, Н.П. Кочетков. - Ижевск : РИО ИжГСХА, 2003. - 54 с. 3. Гусев, В. Г. Электроника и микропроцессорная техника : учебник / В. Г. Гусев, Ю. М. Гусев. - 6-е изд., стер. - Москва : КноРус, 2018. - 798 с. - (Бакалавриат). - URL: https://www.book.ru/view5/a69c9f864c6ab0712b19c0ca820384274. Стандарт организации ОАО РАО «ЕЭС России» СО 34.35.311-2004 «Методические указания по определению электромагнитных обстановки и совместимости на электрических станциях и подстанциях». - Электрон. дан. - М, 2004. - Режим доступа: https:// ohranatruda.ru/upload/iblock/d75/4293824347.pdf (дата обращения: 10.09.2021). - Загл. с экрана.5. Стандарт организации ПАО «ФСК ЕЭС» СТО 56947007 -25.040.30.309-2020 «Корпоративный профиль МЭК61850 ПАО "ФСК ЕЭС"». - Электрон. дан. - ПАО «ФСК ЕЭС», 2020. - Режим доступа: https://www.fsk-ees.ru/upload/docs/ST0_56947007-25.040.30.309-2020.pdf (дата обращения: 10.09.2021). - Загл. с экрана.