овременные нейронные сети в обработке данных...

СОДЕРЖАНИЕ
TOC \o "1-3" \h \z \u ВВЕДЕНИЕ PAGEREF _Toc73916214 \h 31.На чем основана работа нейрокомпьтерной сети PAGEREF _Toc73916215 \h 52.Классификация ИНС и виды нейрокомпьютеров PAGEREF _Toc73916216 \h 113.Нейронные сети в обработке данных PAGEREF _Toc73916217 \h 19 3.1ИНС в распознавании образов и речи PAGEREF _Toc73916218 \h 19 3.2ИНС в обработке видео PAGEREF _Toc73916219 \h 23 3.3ИНС в обработке музыкальных сигналов PAGEREF _Toc73916220 \h 27ЗАКЛЮЧЕНИЕ PAGEREF _Toc73916221 \h 31СПИСОК ЛИТЕРАТУРЫ PAGEREF _Toc73916222 \h 33

ВВЕДЕНИЕНейрокомпьютерные сети – относительно молодая область научных исследований, являющаяся частью более обширного понятия – искусственный интеллект (ИС). Начнем с определения искусственного интеллекта как такового. Интеллект в общем понимании означает свойство психики, подразумевающее под собой способность адаптироваться к ситуации, способность к обучению на основе опыта, применение и использование накопленных знаний для управления окружающей средой. Искусственный интеллект означает свойство интеллектуальных систем выполнять те творческие функции, которые обычно выполняет человек. Нейрокомпьютерная сеть - это способ моделирования искусственного интеллекта. Компьютер, который работает под управлением определенных алгоритмов, а также осуществляет параллельные вычисления - единственное на сегодняшний день устройство, позволяющее моделировать искусственный интеллект [ REF _Ref58803079 \r \h 1].
Считается, что искусственный интеллект как научая область начал развиваться примерно в 1950г. В это время ученый-математик Алан Тьюринг создал свой знаменитый тест. Этот тест заключается в том, что человеку предлагается понять, с кем он общается – с машиной, либо с человеком. Если же человек не в состоянии определить, то считается, что система прошла тест Тьюринга. Критерий Тьюринга основан на том, что осмысленная человеческая речь является неотъемлемой составляющей разума. Поэтому, когда человек – разумное существо не может уличить в бессмысленности речи своего собеседника (машину или человека), это значит, собеседник тоже разумное существо. Первоначальный алгоритм данного теста было сложно понять. В настоящее время тест можно проводить следующим образом: небольшая группа экспертов общается с неизвестным существом посредством какой-либо изолирующей системы (клавиатуры), при этом собеседника они, естественно, не видят. Им разрешается задавать собеседнику любые вопросы, вести разговор на различные темы. Можно считать, что система прошла тест Тьюринга, если эксперты по окончанию эксперимента не могут точно сказать, происходило их общение с человеком или с машиной [ REF _Ref58803090 \r \h 4].
Нейронные сети начали изучать детально примерно в 2000-х годах. Обучение глубоких нейронных сетей началось в 2005-2006 годах ученые в университетах Торонто и Монреаля. Ученые-исследователи в глубине души осознают, что создание разума, близкого к человеческому, может означать, что в дальнейшее развитие технологий может пойти уже без присутствия человека. Конечно, на сегодняшний день даже лучшие нейрокомпьютеры не обладают ключевыми возможностями разума: интуицией, способностью творить, свободой мышления. Пока термин «искусственный интеллект» является скорее инженерной дисциплиной, и нейрокомпьютеры помогают людям во многих сферах их деятельности.
В настоящее время исследования в области искусственных нейронных сетей (ИНС) являются очень перспективными. Исследовательские группы крупных компаний, таких как Google, Yandex, Facebook, проводят исследования в данной области.
Нейрокомпьютеры участвуют в моделировании различных процессов и позволяют решать прикладные задачи в различных областях человеческой деятельности: строительстве, медицине, робототехнике, экономике. Например, в банковской сфере ИНС могут применяться в сфере страхования, а также с помощь них составляется прогноз банкротств и займов, движения денежных потоков, производится оценка кредитных рисков. При этом они оказываются эффективнее других математических алгоритмов. Важное преимущество нейронных сетей – возможность распараллеливания алгоритма с высоким результатом (CUDA от NVIDIA) [ REF _Ref42078737 \r \h 7].
ИНС представляют собой сложную технологию, корнями уходящую во множество дисциплин: нейрофизиологию, математику, физику, статистику, информатику. Создание систем искусственного интеллекта построено на математической логике. К построению схем ассоциативного мышления приводит обобщение понятий булевых функций. Вначале происходит оперирование булевыми переменными, затем - переход к операциям над реальными (действительными, отражающими достоверность) исходными данными.
Нейрофизиологические исследования человеческого мозга также играют существенную роль в развитии систем искусственного интеллекта. Высокая эффективность работы нашего мозга обеспечена достаточно простыми элементами – нейронами (нервными клетками). Ученые выявили главный системотехнический принцип – в примитивности нейрона как раз заключается его универсальность, сам по себе один нейрон не способен что-либо сделать, но большое количество этих элементов за счет специальной организации уже способно на многое. Ведь если некий исполнитель способен выполнять какую-то простую операцию, не вникая в глобальный процесс и общую задачу, то такого исполнителя возможно вставить в любую схему. По этому принципу построены и ИНС [ REF _Ref42336609 \r \h 2].
Целью моей работы является определить, что такое нейрокомпьютерная сеть, каково ее назначение, какие бывают виды ИНС, рассмотреть, каким образом используются современные нейронные сети в обработке данных - изображений, видео, музыки, технологических сигналов и т.п.
На чем основана работа нейрокомпьтерной сетиНейрокомпьютерная сеть представляет собой огромный распределенный параллельный процессор, который включает в себя элементарные единицы поступающей информации и обрабатывает эту информацию с помощью заданного алгоритма. Нейрокомпьютерная сеть способна накапливать экспериментальные знания и предоставлять их для последующей обработки [ REF _Ref58802972 \r \h 12].
Нейрокомпьютеры – это ЭВМ, которые функционируют благодаря работе искусственных нейронов. Если рассматривать их с технической точки зрения, то можно сказать, что это вычислительные системы с неким множественным потоком исходных данных и параллельными потоками одинаковых команд, такая структура называется MSIMD-архитектура. Основная работа нейрокомпьютеров – это нейровычисления и воспроизведение информационных процессов, которые протекают в нейронных сетях человеческого мозга. Нейропроцессор является структурной единицей нейрокомпьютера [ REF _Ref58802928 \r \h 15]. Нейропроцессоры, в свою очередь, связываются друг с другом в нейроподобные системы. В качестве примера можно отметить нейрокомпьютер Synapse (Siemens, Германия) и процессор NeuroMatrix. На тему нейрокомпьютеров и новинок в этой области ежегодно проводятся научные конференции.
Для начала выясним, на чем основана работа нейрокомпьютерной сети. Устройство и работа искусственного нейрона во многом схожа с его прототипом – биологическим нейроном мозга (рис. 1). Наш мозг – сложнейшая биологическая нейронная сеть, которая принимает и анализирует информацию из окружающего мира с помощью органов чувств и обрабатывает ее. Основное назначение биологического нейрона – обработка сигнала. Но помимо этого он должен еще выполнять функции, поддерживающие его жизнь. Человеческий мозг – это совокупность нейронов [ REF _Ref58976092 \r \h 3].
Нейронная сеть имеет сходство с биологическим мозгом по нескольким критериям:
Информационные данные поступают из окружающей среды, затем используются в процессе обучения.
В обоих случаях используются синаптические весы (связи между нейронами), с помощью них происходит накопление и обработка полученных знаний.

Рисунок 1 - Биологический нейрон
Немного об историю появления искусственных нейросетей. Ученые полагают, что Уоррен Маккаллох и Уолтер Питтс предложили первыми математическую модель нейрона в научной статье в 1943 году [ REF _Ref42078737 \r \h 7]. В этой статье авторы предлагают разработать целый логический аппарат для нейронных сетей, состоящий из ациклических граф. При этом довольно удобно использовать бинарную природу нейронной активности (нейрон либо «включен», либо «выключен», без промежуточных состояний практически). В статье Уолтера Питтса и Уоррена Маккаллоха скорее можно наблюдать первые рассуждения на тему, что вообще можно было бы сделать с помощью таких искусственных нейронов.
Под понятием перцептрон понимают кибернетическая модель мозга. Первую конструкцию линейного перцептрона создал Фрэнк Розенблатт в 1950-х годах. Перцептрон Розенблатта представлял собой линейную модель классификации, но при детальном рассмотрении стало понятно, что в реальности перцептроны не могут быть линейными, иначе из них невозможно будет составить содержательную сеть. Линейный перцептрон – это скорее только теория.
Существуют различные математические модели искусственных нейронов, которые имитируют работу биологических нервных клеток. В большинстве случаев применяются вычислительные узлы, принцип которых представлен схемой на рисунке 2. Искусственный нейрон представляет собой нелинейную функцию от x - единственного аргумента, при этом выбирается некая комбинация всех входных сигналов.

Рисунок 2 - Модель искусственного нейрона
На входе поступает какое-то количество сигналов x1, x2, …, xn. Каждый из них умножается на вес wi. Затем результаты суммируются, и к полученной сумме применяется активационная функция φ. Выход функции идет на вход другим нейронам. Выходной сигнал определяет функция активации (возбуждения нейрона), также он зависит от входного сигнала или набора входных сигналов.
Функции активации бывают разными. Самая простая и существующая скорее в теории, как уже говорилось выше, это линейная функция:
φx=xИсторически в нелинейных перцептронах обычно применялась функция активации искусственного нейрона в виде логистического сигмоида [ REF _Ref42078737 \r \h 2]:
δx=11+exДанная функция обладает всеми свойствами, необходимыми для нелинейности в нейронной сети. Она ограничена, стремится к нулю при x→∞ и к единице при x→∞, везде дифференцируема, производную легко подсчитать как δ,x=δx(1-fx). Сигмоидальная функция – не единственная нелинейная функция, которая используется в ИНС, хотя она до сих пор является достаточно популярной. Существует много разных функций активации.
Гиперболический тангенс:
tanγx=ex-e-xex+e-xГиперболический тангенс похож по свойствам на логистический сигмоид: непрерывен, ограничен, и производную от него также просто подсчитать через него самого: tanγ,x=1-tanγ2x. Если рассматривать графики функций, то по сравнению с логистическим сигмоидом у гиперболического тангенса значительно круче линии подъема и спуска, и он быстрее приближается к своим пределам. Гиперболический тангенс часто используется в некоторых приложениях нейронных сетей, например, в компьютерном зрении.
Ступенчатая функция (функция Хэвисайда):
step x={0, если x<01, если x>0Ступенчатая функция применялась в ранних конструкциях нелинейных перцептронов. Она не определена в нуле, ее можно доопределить, например, как step(x) = ½. Даже на практике случайно попасть точно в ноль вряд ли получится.
Но на ступенчатых функциях активации сеть с несколькими уровнями не построить, так как производная от ступеньки всегда равна нулю. Таким образом, градиент будет умножаться на производную функции step´(x)=0, в результате чего будут получаться одни нули, следовательно, градиенты не дойдут от выходов к входам.
Все вышеперечисленные функции - это классические функции активации, но есть и другие, более современные. Главная идея, во многом изменившая архитектурные основы современных нейронных сетей, — это так называемые rectified linear units (ReLU). Функция активации у них кусочно-линейная:
ReLU x={0, если x<0x, если x≥0или
ReLU x=max(0;x)Следует отметить, что ReLU-нейроны эффективнее, чем основанные на логистическом сигмоиде и гиперболическом тангенсе. У данной функции активации существуют различные вариации и обобщения. К примеру, «протекающий ReLU» (Leaky ReLU, LReLU):
LReLU x={ax, если x<0x, если x>0Здесь а – это небольшая положительная константа. Например, а=0,1.
Экспоненциальный линейный нейрон (Exponential Linear Unit, ELU) - еще одна модификация ReLU – функции — это в котором функция активации становится экспоненциальной на отрицательных значениях аргумента:
ЕLU x={a(ex-1), если x<0x , если x≥0В таблице 1 представлены основные активационные функции [ REF _Ref42078737 \r \h 7].
Таблица 1 - Таблица основных функций активации

Для наглядности на рисунке 3 приведены графики основных функций активации.

Рисунок 3 - Графики различных функций активации
Существуют различные варианты архитектуры нейрокомпьютерных сетей. Структура ИНС зависит от используемых в ней алгоритмов обучения [ REF _Ref58802972 \r \h 12]. При построении нейронной сети как правило применяются послойные архитектуры, когда нейроны объединяются в группы (слои), и связи устанавливаются только между нейронами соседних слоев. Подобное построение удобно тем, что производимые в слое вычисления можно представить в виде матричного умножения, что дает больше возможностей для ускорения вычислений. В настоящее время ведется работа по исследованию так называемых хаотических нейронных сетей [ REF _Ref42336609 \r \h 2], но пока в этой области получены гораздо менее впечатляющие результаты. На рисунке 4 изображен пример послойной архитектуры нейронной сети. Красным цветом обозначены входные нейроны, желтым – скрытые, зеленым – выходные нейроны.

Рисунок 4 - Послойная архитектура нейронной сети
КЛАССИФИКАЦИЯ ИНС и виды нейрокомпьютеровЗа период развития ИНС появлялось множество типов нейросетей. На рисунке 5 представлена общая классификация нейронных сетей по основным критериям.

Рисунок 5 - Общая классификация нейронных сетей
Что же подразумевает под собой обучение ИНС? Обучение нейрокомпьютерной сети - это поиск определенного набора коэффициентов для синаптических весов, при котором мы получаем нужный нам выходной после прохода входных сигналов по всей сети.
Обучающая выборка (Training set) — конечный набор входных сигналов, по которым происходит обучение сети, иногда выборка содержит и правильные выходные сигналы.
Тестовая выборка (Testing set) — такой конечный набор входных сигналов (иногда вместе с правильными выходными сигналами), по которому мы можем произвести оценку работы данной сети. Тестовая выборка обычно применяется перед запуском нейросетей в работу.
Обучение сети с учителем (Supervised learning) – такой вид обучения сети, когда для каждого входного вектора существует соответствующий целевой вектор, который представляет собой ожидаемый выходной сигнал [ REF _Ref42258319 \r \h \* MERGEFORMAT 10].
Обучение ИНС без учителя (Unsupervised learning) — такой вид обучения нейросети подразумевает, что ИНС самостоятельно распознает и классифицирует входные сигналы. Также это называется процессом кластеризации. Такое обучение является более правдоподобной моделью обучения ИНС, если учитывать биологические корни появления искусственных сетей [ REF _Ref42258319 \r \h 10].

Рисунок 6 - ИНС прямого распространения
Нейрокомпьютерные сети прямого распространения (Feedforward neural network) – в таких сетях все связи направлены строго от входных сигналов к выходным и в противоположенном направлении сигнал распространяться не может (рис. 6).
Нейрокомпьютерные сети с обратными связями (Recurrent neural network) — такая ИНС, в которой происходит круговорот сигналов, выходной нейрон может повторно подаваться на вход (рис. 7). В таком варианте построения нейросети выход нейрона определяется не только входным сигналом и весами, но еще и предыдущими выходами, сигналы могут ходить по кругу. Подобная циркуляция нейронов в сети открывает новые возможности и преимущества и нейрокомпьютерных сетей. С помощью этой архитектуры можно создавать нейросети, восстанавливающие или дополняющие сигналы. Можно даже говорить о том, что подобные нейросети имеют свойства кратковременной памяти (как у человека).

Рисунок 7 - Нейронная сеть с обратными связями
К нейросетям с обратными связями можно отнести самоорганизующиеся карты (сети Кохонена), рекуррентные нейронные сети, радиально-базисные функции.
Самоорганизующиеся карты или Сети Кохонена (рис. 8) – обучение таких сетей обычно происходит без учителя. Сети Кохонена широко применяется в задачах распознавания (речи, подчерка, лица и т.д.). Такая сеть имеет всего два слоя: входной и выходной. Выходной составляют радиальные элементы [ REF _Ref42258319 \r \h 10].

Рисунок 8 -Нейросеть Кохонена
Также можно отметить рекуррентные нейрокомпьютерные сети – такие сети, в которых сигнал с выходных нейронов, либо с нейронов из скрытого слоя частично распространяется в обратном направлении на входы нейронов входного слоя (рис. 9). Связи между элементами в такой нейросети могут обрабатывать серии различных событий и работать с последовательными цепочками в пространстве. Такая нейросеть может применяться для распознавания речи, а также рукописного текста. Эта сеть породила другие виды нейросетей ( сети Хопфилда, Элмана и Джордана) [ REF _Ref58803327 \r \h 13].

Рисунок 9 - Рекуррентная нейронная сеть
Радиально-базисная функция (рис. 10) – такая архитектура нейросети подразумевает наличие скрытого слоя, который состоит из радиальных элементов и выходной слой, состоящий из линейных элементов (рис. 10). К преимуществам такой нейросети можно отнести относительную компактность, а также они быстро обучаемы. Отличиями от других ИНС: один скрытый слой, только нейроны скрытого слоя имеют нелинейную активационную функцию и синаптические веса входного и скрытого слоев равны единицы.

Рисунок 10 - Радиально-базисная функция.
На сегодняшний момент существует большое разнообразие различных архитектур нейросетей. Из многослойных хотелось выделить сверточную нейросеть, она имеет ряд преимуществ и является одним из популярнейших типов нейросети. Используется в основном для распознавания определенной информации в фотографиях и видео, системах для рекомендаций, а также при обработке языка.
Характеристики сверточной сети: отличная масштабируемость – проводят распознания образов любого разрешения (какое бы не было оно большое); использование объемных трехмерных нейронов – внутри слоя, нейроны связаны малым полем, которое называется рецептивным слоем; механизм пространственной локализации – соседние слои нейронов связаны таким механизмом, за счет чего обеспечивается работа нелинейных фильтров и захватывается большее число пикселей графического изображения.
Мысль создать такой тип нейросети возникла при тщательном изучении зрительной коры, которая в больших полушариях мозга отвечает за обработку визуальной составляющей. Основной критерий выбора в сторону ИНС сверточного типа является то, что она в составе технологий глубокого обучения. Схожий тип с перцептроном, но разница в том, что здесь используется ограниченная матрица весов, сдвигаемая по обрабатываемому слою, вместо полносвязной нейронной сети [ REF _Ref42271271 \r \h 11].
Технология глубокого обучения (Deep learning) подразумевают степень сложности (глубины) нейронной сети. В этой технологии используется множество слоев для решения сложных задач при помощи шаблонов.
В таблице 2 приведено сравнение нейронных сетей по принципу и сфере применения, а также по типу обучения.
Таблица 2 - Принципы и сферы применения нейронных сетей
Нейронная сеть Принцип применения Обучение с учителем (+) или без(-) или смешанное (с) Сфера применения
Перцептрон Розенблатта Распознание образов, принятие решений, прогнозирование, аппроксимация, анализ данных + Практически любая сфера применения, кроме оптимизации информации
ХопфилдаСжатие данных и ассоциативная память — Строение компьютерных систем
Кохонена Кластеризация, сжатие данных, анализ данных, оптимизация — Финансы, базы данных
Радиально-базисных функций (RBF-сеть) Принятие решений и управление, аппроксимация, прогнозирование с Управленческие структуры, нейроуправлениеСвёрточнаяРаспознание образов + Обработка графических данных
Импульсная Принятие решение, распознавание образов, анализ данных с Результат обучения нейросети на практике осуществляется при помощи нейрокомпьютера. Нейрокомпьютер – это ЭВМ, построенная на основе нейропроцессора, в котором работает нейронная сеть с определенной архитектурой. Нейропроцессор – специализированный компьютерный процессор, который распространяет параллельные потоки однотипных команд, а также множественные потоки данных, при этом осуществляя реализацию нейросетевых алгоритмов в реальном времени.
Нейроэмулятор – такая система, которая способна реализовывать типовые нейрооперации на программном уровне, основана на базе каскадного соединения универсальных SISD-, SIMD- или MISD-процессоров (Intel, AMD, Sparc, Alpha, Power PC и др.) и. Нейроэмулятор можно рассматривать как нейросетевую модель для какого-то динамического объекта.
Нейроускоритель – это нейрокомпьютер последнего поколения. Нейроускоритель - это модуль, либо карта, в которой происходит процесс распараллеливания операций на машинном уровне. Работа нейроускорителя может быть основана на ПЦОС (процессоры цифровой обработки сигналов), например, Motorola, Texas Instrument Inc., Analog Devices, ПЛИС (програмная логическая интегральная схема) и (или) на специализированных нейрочипах. Некоторые нейрочипы относятся к интегральным схемам, другие представляют собой СБИС-нейрочипы. На рисунке 11 представлена классификация нейрочипов.

Рисунок 11 - Классификация нейрочипов
На сегодняшний день широко распространены гибридные нейропроцессоры, в которых логика управления осуществляется на ПЛИС, а блок обработки данных – на базе кластерного соединения ПЦОС.
Нейрокомпьютеры можно разделить на следующие группы:
1) представлены в виде карт и модулей, то есть виртуальные нейрокомпьютеры;
2) конструктивно-автономные системы.
Нейрокомпьютеры, изготовленные в виде карт, как правило, предназначены для установки в слот расширения обычного компьютера. Нейрокомпьютеры в виде модулей соединяются по стандартному интерфейсу или шине с управляющей Host-ЭВМ [ REF _Ref58805142 \r \h 5].
Для того, чтобы оценить качество работы и производительность нейрокомпьютера, обычно рассматривают как правило три основных показателя:
1) CUPS (Connections Update per Second) – число измененных значений весов в секунду, скорость обучения нейронной сети;
2) CPS (Connections per Second) – число соединений (умножений с накоплением) в секунду, то есть производительность нейрокомпьютера;
3) MMAC – миллионов соединений (умножений с накоплением) в секунду.
Для построения нейрокомпьютера, основанного на работе гибридного нейрочипа ПЦОС и ПЛИС объединяются между собой единой архитектурой, в которой обеспечивается параллельность вычислительных операций. На рис. 12 представлена схема нейрокомпьютера, работа которого реализована на основе ПЦОС или (и) ПЛИС. На ней можно связи между основными компонентами нейрокомпьютера – памятью, модулем управления, модулем матричных процессов и памятью весов.

Рисунок 12 - Обобщенная функциональная схема нейрокомпьютера с гибридным нейрочипом
Рисунок 13 - Структурная схема Synapse 2
Фирма Siemens – первая из европейских компаний, которая выпустила нейрокомпьютер. Рассмотрим подробнее нейрокомпьютер Siemens (рис. 13). Область применения нейрокомпьютеров Siemens: распознавание лица, отпечатка, подчерка, речи, изображений, а также ускорение работы программных эмуляторов. Компания Siemens выпустила нейрокомпьютер под названием Synaps, он за 60 мин самообучения достигает таких же результатов, что и нейронные сети в стандартном компьютере за целый год. Он способен накапливать память, преимущество этого компьютера - скалярная многопроцессорная архитектура его нейросети. В состав нейрокомпьютера Synapse 2 входит: управляющий ПЦОС TMS320C50 (55 МГц), нейрочип МА16 (40 гц), модуль целочисленной обработки на базе ПЦОС TMS320C50 (55 мгц), память образцов (Y-Memory) и память весов (WMemory).
Нейронные сети в обработке данных
ИНС В РАСПОЗНАВАНИИ ОБРАЗОВВ данной главе я рассмотрю, на что способны и как применяются нейрокомпьютерные сети, в частности нейросети в обработки данных (изображения, видео, музыка и т.п.), приведу примеры.
Одно из назначений ИНС – распознавание похожих образов (букв, предметов и другие объектов), но, как правило, это используют для распознавания подчерка. Компания AT&T Bell Laboratories использовала подобную сеть при сортировке писем на почте в г. Буффало (США). Рукописные цифры, которые были написаны на конвертах, распознаются подобной нейросетью с помощью нейросетевых методов [ REF _Ref58805142 \r \h 5].
Процесс обучения состоит в следующем: для каждой буквы алфавита подбирается обучающая выборка – совокупность вариантов, каким образом можно написать букву (например, буква, написанная несколькими людьми). На этом этапе происходит подбор синаптических весов нейронов, и сеть в итоге запоминает как выглядит данная буква. В результате такого обучения нейросеть будет правильно распознавать эту букву, написанную и другим почерком. Процесс обучения нейросети показан на рис. 14.

Рисунок 14 – Процесс обучения ИНС
Необходимые значения активационной функции достигаются путем обучения, т.е. постепенного изменения весовых коэффициентов входящих связей нейрона, происходящего в автоматическом режиме в ответ на реакцию внешней среды. На рисунке 15 представлена схема применения искусственного нейрона для распознавания текста. В данном примере нейрону многократно предъявляются образцы букв и при этом обозначается заранее, какой выходной сигнал ожидается от нейрона (является ли эта буква искомой или нет). После обучения веса связей фиксируются и нейрон способен проводить дальнейшее распознавание самостоятельно.
 
Рисунок 15 - Схема применения искусственного нейрона для распознавания текста
В процессе обучения ИНС накапливает знания об основных свойствах тех образов, которые потом она будет классифицировать и распознавать. К таким свойствам можно отнести геометрическое расположение элементов образа, распределение компонентов данного образа и др. Для выработки классификационных решений ИНС акцентирует отличия образов друг от друга. Выходной сигнал включает в себя использование контрольной проверки. Для этого резервируется часть обучающейся выборки, которая используется для независимого контроля результата. В начале работы ошибки сети на обучающем и контрольном множествах будут одни и те же. В процессе обучения сети ошибка и ошибка на контрольном множестве убывают. Может случиться, что контрольная ошибка перестала убывать или стала расти, это значит, что сеть начала слишком близко аппроксимировать данные (переобучилась) и обучение следует остановить и уменьшить число скрытых элементов и (или) слоев. Выбранная сеть является слишком мощной для данной задачи. Если же обе ошибки обучения и проверки не достигают достаточно малого уровня, это означает, что переобучения не произошло, и выбранная сеть является недостаточно мощной для моделирования имеющейся зависимости [ REF _Ref73827896 \r \h 19 REF _Ref42271271 \r \h REF _Ref42333194 \r \h ].
На практике приходится экспериментировать с достаточно большим числом различных ИНС, прежде чем достигается нужный вариант. Контрольная ошибка – главный показатель качества результата.
Глубокие нейронные сети обучаются путем подстройки силы своих связей так, чтобы лучше передавать входные сигналы через множество слоев тем нейронам, которые отвечают за разные способы обработки (рис. 16).

Рисунок 16 – Обучение ИНС на основе опыта
Распознавание лиц при помощи нейросетей широко используется IT-компаниями. В качестве примера хочу привести компанию Facebook, которая значительно преуспела, в распознавании лиц на фотографиях с помощью глубинного обучения. Это поворотный момент в области нейротехнологий, изменяющий более ранние представления: «Человек может с вероятностью в 97.53% определить, один ли человек представлен на двух разных фотографиях. Программа, разработанная командой Facebook, может делать это с вероятностью в 97.25% вне зависимости от освещения или того, смотрит ли человек прямо в камеру или повернут к ней боком» [ REF _Ref42336609 \r \h 2 REF _Ref42271271 \r \h REF _Ref42333194 \r \h ].
Результаты обучения и обобщения ИНС не всегда могут быть успешными. Причины этого могут быть следующие:
1) архитектура сети выбрана неудачно (слишком много или слишком мало нейронов в скрытых слоях);
2) малое количество примеров для обучения;
3) влияющие факторы выделены некорректно: в число входных параметров не включен один или несколько факторов, в наибольшей мере влияющих на значение выходных показателей;
4) искомой зависимости вообще не существует, обучающие примеры являются уникальными, аналогия между ними отсутствует.
ИНС В ОБРАБОТКЕ ВИДЕОВидеоинформация - одним из самых быстрорастущих сегментов данных. В связи с огромным объемом видеоинформации в современном человеческом обществе всё более актуальной становится задача автоматического анализа видеопотоков и выделения из них нужной семантической информации. Например, видео с дорожных и уличных камер могут содержать как моменты рядовых событий, так и моменты правонарушений, которые в свою очередь требуют фиксации и передачи в правоохранительные органы. Автоматическая идентификация по характерным жестам преступников с камер наружного наблюдения позволяет существенно упростить работу правоохранительных органов. Ещё одной важной задачей является анализ видео со спортивных соревнований, это позволяет сделать оценку судьи наиболее объективной, исключая человеческий фактор. Всё это подразумевает под собой распознавание тех или иных действий на видео. Несмотря на то, что многие крупные компании IT индустрии (Google, Facebook, NVidia и др.) активно ведут фундаментальные и прикладные исследования в области машинного обучения, на сегодняшний день, не существует готового универсального решения таких задач [ REF _Ref73918415 \r \h 21 REF _Ref42271271 \r \h REF _Ref42333194 \r \h ].
Как правило, принято выделять два подхода в распознавании действий на видео: выявление низкоуровневой и высокоуровневой информации о движениях.
Низкоуровневый подход подразумевает, что система-анализатор имеет представление о некотором наборе базовых элементов или движений (low-level labels), из которых можно составить различные сложные действия. К примеру, движение ног может говорить о ходьбе, беге, танце и т.д. Теоретически, низкоуровневый подход сможет предоставлять более точную семантическую информацию, используя ограниченный набор базовых движений. Недостатки данного подхода - сложность реализации, необходимость составления сложных взаимосвязей и структур для эффективной работы подхода и необходимость весьма значительных вычислительных мощностей. Подобный подход уже был применен на практике на футбольных видео с 4 классами действий [ REF _Ref73918415 \r \h 21 REF _Ref42271271 \r \h REF _Ref42333194 \r \h ].
Высокоуровневый подход предполагает моделирование переходов между кадрами, без анализа базовых действий. Иными словами, система-анализатор работает с целостным образом. Достоинства такого метода - относительная простота реализации и меньшие вычислительные мощности по сравнению с низкоуровневым подходом. Недостатком подхода является ограничения памяти, то есть системе требуется запомнить значительный набор примеров высокоуровневых действий для эффективного распознавания.
Для того, чтобы успешно решать задачи распознавания действий на видео необходимо выбрать наиболее удобный способ представления входных/выходных данных и подобрать оптимальный классификатор, позволяющий достичь наилучшей точности предсказаний.
Рассмотрим существующий метод представления данных, называемый Bag of Words (мешок слов). Данный метод первоначально был создан для представления текстовых данных, в дальнейшем он также был успешно использован для представления визуальных данных. Применительно к задаче классификации изображений используется отдельный термин «мешок визуальных-слов» (Bag of Visual-Words), обычно используют общее наименование BoW. Мешок слов, также иногда называемый векторной моделью (Vector space model) представляет собой популярный подход, который формирует из набора локальных дескрипторов изображений некоторое представление данных, которое может быть использовано для поиска и классификации. Основная идея BoW состоит в том, чтобы представлять изображения с помощью гистограммы встречаемости визуальных слов, соответствующих каждому набору локальных признаков, извлеченных из изображений и представленных дескрипторами. Дескриптор - числовой или бинарный вектор описывающий ключевую точку, он отражает особенности окрестности этой точки: форму, цвет или текстуру. Ключевой точкой называют некоторую точку изображения, которая уникально характеризует ближайшую окрестность изображения [ REF _Ref73918415 \r \h 21 REF _Ref42271271 \r \h REF _Ref42333194 \r \h ].
Рассмотрим принцип работы рекуррентной нейронной сети (РНС, англ. Recurrent neural network; RNN) в обработке видео. Как уже говорилось выше, РНС отличаются от традиционных искусственных нейронных сетей наличием обратных связей (как внутри, так и между слоями), что позволяет при анализе текущего набора входных значений учитывать результаты предыдущих итераций. Данную особенность можно назвать «эффектом памяти», она позволяет анализировать последовательности подаваемых на вход данных. Недостаток такой сети состоит в том, что при работе с длинными последовательностями «эффект памяти» ограничен и, порой, важные данные теряются. Исследователи создали рекуррентную нейронная сеть с «долгой краткосрочной памятью» (англ. Long short-term memory; LSTM), которая является специфической модификацией привычной РНС, которая способна учитывать долгосрочные зависимости между подаваемыми на вход данными (в обычных рекуррентных нейронных сетях при увеличении расстояния между двумя подаваемыми на вход последовательностями данных зависимость ослабевает), это достигается за счёт того, что LSTM ячейка не использует функцию активации внутри своих рекуррентных слоёв. В итоге важные значения не размывается во времени при использовании метода обратного распространения ошибки при обучении сети. Важная информация поступает в запоминающую ячейку и удаляется оттуда в соответствии с заранее заданными правилами. На рис. 17 изображена архитектура рекуррентной сети с LSTMячейкой.

Рисунок 17 - Схема архитектуры рекуррентной сети с LSTM-ячейкой
В данном случае выбран низкоуровневый подход. У нас изначально имеется ограниченный набор известных действий (классов) и размеченный набор видеофайлов, где каждое видео содержит фон и объект, совершающий то или иное действие (ходьба, бросок мяча, танец и т.д.) Постановка задачи заключается в том, чтобы научиться классифицировать видео по критерию действия, совершаемого объектом, а именно, найти наиболее вероятный класс действия на видео. На рис. 18 представлена общая схема предлагаемого подхода.

Рисунок 18 - Предлагаемая схема классификатора
В низкоуровневый подход значительных вычислительные ресурсы затрачиваются на первоначальном этапе для вычисления базовых элементов, однако, в дальнейшем, при распознании, требуется производить меньше операций по сравнении с высокоуровневым подходом. Для начала составляется некоторый набор базовых элементов. Для уменьшения объёма обрабатываемой информации видео с помощью алгоритмов поиска дескрипторов переводится в последовательность векторов. Такие алгоритмы хорошо работают на видео с отчетливо выделяемые объектами на фоне (на кадрах видны границы). Таким образом, дескрипторы позволили сохранить основную информацию с минимальными потерями. В результате, один видеофайл будет представлять собой массив из дескрипторов кадров 𝑓𝑛, где 𝑓𝑖 — 𝑖-ый кадр видео. Затем для каждого кадра составляется «справочник», состоящий из близлежащих дескрипторов. Далее для каждого видео связываются одинаковые значения из «справочников» изображений одного видео и составляется «мешок слов», который представляет собой упорядоченный массив из наиболее часто встречающихся дескрипторов (визуальный контент) и массив смещений (набор переходов между кадрами). Полученные «мешки слов» являются набором базовых движений.
Далее необходим классификатор. К примеру, рекуррентная нейронная сеть с LSTM-ячейкой, так как такая сеть способна работать с длинными последовательностями данных. Данная ИНС обучается методом обратного распространения ошибки по времени. На вход сети подаются видео из обучающей выборки представленные «мешками слов», на выходе были известны классы, к которым принадлежали эти видео. После какого-то числа итераций (подбирается эмпирически), обученный классификатор, которому на вход подаётся видео (в формате «мешка слов»), должен выдать вероятностную принадлежность тому или иному известному классу.
Итоговую схему классификатора для задачи анализа движения на видео включает в себя следующие этапы:
1. Векторизация видеофайла (вычисление дескрипторов и их фильтрация).
2. Вычисление сдвигов и составление мешка слов.
3. Подача дескрипторов на входной слой.
4. Работа рекуррентной нейронной сети.
5. Выходной слой, выведение результата.
На рис. 19 отображены пункты 1 и 2 итоговой схемы классификатора.

Рисунок 19 - Схема векторизации видеофайла, вычисления сдвигов и составления мешка слов
ИНС В ОБРАБОТКЕ МУЗЫКАЛЬНЫХ СИГНАЛОВ И РЕЧИ
При обработке сложных музыкальных сигналов возникает задача распознавания музыкальных инструментов (аудиозаписей музыкальных произведений различных жанров). Данная задача относится к классу задач Music Information Retrieval (MIR) [ REF _Ref73834858 \r \h 20 REF _Ref42271271 \r \h REF _Ref42333194 \r \h ].
Музыкальный звук имеет определенную характерную структуру в спектральном диапазоне (рис. 20). В этом диапазоне обычно имеется основной тон с наибольшей амплитудой, и сопутствующие гармоники – обертоны, которые определяют тембр звука и соответственно музыкальный инструмент. Спектр представляет собой большой набор данных, которые нецелесообразно использовать в исходном виде для решения задачи распознавания, поэтому необходимо определить значимый набор признаков. Мел-частотные кепстральные коэффициенты хорошо подходят в качестве такого набора, они представляют собой нелинейный спектр спектра, хорошо аппроксимируют слуховую систему человека, а также успешно используются для решения задач распознавания речи.

Рисунок 20 - Схема алгоритма распознавания музыки
Алгоритм вычисления можно разбить на несколько этапов:
- вычисление оконного преобразования Фурье;
- нелинейное разбиение спектра на n частей c применением мел-шкалы;
- вычисление энергии сигнала для каждого интервала с применением треугольных фильтров (с перекрытием);
- вычисление логарифма энергии сигнала для каждого интервала;
- выполнение дискретного косинусного преобразования.
При обучении классификатора используется набор маркированных примеров изолированных нот музыкальных инструментов. Для каждого инструмента отбираются ноты в их эффективном рабочем диапазоне (длительность звучания каждой ноты 1–2 секунды). В качестве классификатора мы используется ИНС прямого распространения и метод обратного распространения ошибки для обучения сети [ REF _Ref73834858 \r \h 20 REF _Ref42271271 \r \h REF _Ref42333194 \r \h ].
Данный алгоритм может быть описан следующими шагами:
– инициализация – создание а подпопуляций с n нейронами, где а – число нейронов в скрытом слое, n – размер популяции;
– оценка – выбирается случайный набор нейронов (по одному из каждой подпопуляции) и формируется нейронная сеть, далее оценивается ее приспособленность. Эта приспособленность добавляется кумулятивно к каждому нейрону этой сети. Оценка продолжается до тех пор, пока каждый нейрон не примет участие как минимум в десяти оценках;
– проверка вырождения – если приспособленность лучшей сети не меняется в лучшую сторону, в течение b поколений, то выполняется взрывная мутация. Если после двух мутаций не происходит улучшение приспособленности, то выполняется адаптация размера сети;
– рекомбинация – вычисляется средняя приспособленность каждого нейрона, затем они сортируется (в пределах подпопуляции). Отбирается 25% лучших нейронов. Для нейронов с низкой приспособленностью выполняется мутация с распределением Коши. В конце происходит выбор лучших n нейронов;
– этапы оценки-рекомбинации повторяются до тех пор, пока не найдена сеть с ожидаемым качеством.
Алгоритм распознавания музыкальных инструментов состоит из шести блоков (рис. 21).

Рисунок 21 - Схема алгоритма распознавания музыки
В результате работы данного алгоритма были найдены параметры, которые обеспечивают высокую точность (более 90%) при минимизации числа используемых признаков. Метод главных компонент позволил нам сделать входные данные более компактными, уменьшить пространство признаков (с 14 до 7) и соответственно найти наиболее оптимальную поверхность решения [ REF _Ref73834858 \r \h 20 REF _Ref42271271 \r \h REF _Ref42333194 \r \h ].
Распознавание речи – также довольно популярная область применения ИНС. Распознавание речи – первая область, в которой ИНС получили индустриальное применение. Один из лидирующих поисковиков Китая – команда Baidu разработала систему распознавания речи. Данная нейрокомпьютерная сеть значительно превосходит человека в скорости и точности написания текста на мобильных устройствах на двух языках - на английском и мандаринском. Эта ИНС опередила человека в скорости и точности написания текста на мобильных устройствах на двух языках - на английском и мандаринском. Что особенно занимательно – написание общей нейросети для двух абсолютно разных языков не потребовало особенного труда: «Так исторически сложилось, что люди видели Китайский и Английский, как два совершенно разных языка, поэтому и подход к каждому из них требовался различный», — говорит начальник исследовательского центра Baidu, Andrew Ng».
Google использует глубинное обучение для управления энергией в датацентрах компании. Они смогли сократить затраты ресурсов для охлаждения на 40%, а это миллионы долларов экономии.
ЗАКЛЮЧЕНИЕСтремительное развитие современных компьютерных технологий повлекло за собой появление мощных и доступных вычислительных устройств, позволяющих реализовывать и выполнять самые сложные алгоритмы. В связи с этим стала возможна практическая реализация различных методов искусственного интеллекта, в том числе – эффективных методов машинного обучения, позволяющих заменить человека в различных сферах деятельности, требующих длительной монотонной обработки информации.
Нейрокомпьютерные сети в наши дни активно участвуют в моделировании процессов в самых разных областях: в менеджменте, экономике, маркетинге, а также в медицинской диагностике, в управлении организациями, в стратегическом управлении.
Нейросетевой подход для распознавания и обработки технолоческих сигналов, сложных музыкальных сигналов, видео и изображений все больше прогрессирует. Создаются современные методы и алгоритмы, открывающие новые возможности в обработке огромного количества данных и поиске нужной информации.
Зарубежные торговые сети используют технологию распознавания различных эмоций на лицах покупателей, таким образом оценивая реакцию покупателя на тот или иной товар.
X5 Retail Group применяет нейрокомпьютеры для оптимизации обслуживания. Происходит это в следующем порядке: камеры на кассах определяют, сколько времени человек проводит в очереди, несли это время превышает допустимое, то нейросеть подает сигнал об открытии еще одной кассы.
Я хочу отметить, что история исследований в области нейросетей еще достаточно коротка, ИНС еще предстоит себя проявить. Я думаю, новые возможности нейросетей будут разрабатываться благодаря дальнейшему развитию нейрофизиологии, нейроматематики. В будущем нас ждет создание более совершенных нейрокомпьютеров.
Пока, несмотря на явные преимущества, нейронные сети все же имеют ряд недостатков: не всегда точный ответ (приблизительно), принятие какого-либо решения в несколько этапов, а также осуществление слишком сложных вычислительных задач. Естественно, что далеко не вся накапливаемая информация исследуется и подвергается дальнейшему использованию. Но есть плюсы. К несомненным достоинствам современных нейросетей относится высокая устойчивость при изменении параметров схем, их реализующих (например, весьма значительные изменения весов не приводят к ошибкам в реализации простой логической функции двух переменных) и так называемая постепенная деградация (при выходе из строя отдельных элементов качество работы системы падает постепенно) и др. Разработчики ИНС стремятся к увеличению числа слоев в архитектуре сети, к созданию новых методов для формирования алгоритмов настройки коэффициентов.
ИНС хорошо подходят для распознавания образов, а также решения задач классификации, оптимизации и прогнозирования. ИНС могут применяться для анализа геологической ситуации в той или иной географической области, определения залежей полезных ископаемых с помощью аэрофотосъемок, выявления неисправностей оборудования, анализа составов примесей, управления манипуляторами, управления качеством, обнаружения неисправностей и т.д. [ REF _Ref42336269 \r \h 12 REF _Ref42271271 \r \h REF _Ref42333194 \r \h ].
В заключении своей работы хотелось бы отметить, что мне было очень интересно писать данную работу, так как я нахожу для себя тему нейрокомпьютерных сетей увлекательной и перспективной.
Поводя итоги, хочется сказать, что нейрокомпьютеры способны существенно улучшить работу бизнеса и госструктур, а также освобождают людей от монотонных вычислительных операций. Сложные бизнес-задачи нейрокомпьютеры способны выполнять даже эффективнее человека, а по стоимости это обходится дешевле, так как обучить нейронную сеть достаточно один раз и ей не нужно платить зарплату.
СПИСОК ЛИТЕРАТУРЫАляутдинов М. А., Галушкин А. И., Казанцев П. А., Остапенко Г. П. Нейрокомпьютеры: от программной к аппаратной реализации. М.: Горячая линия – Телеком, 2008. 152 с.Гафаров Ф.М. Искусственные нейронные сети и приложения: учеб. пособие / Ф.М. Гафаров, А.Ф. Галимянов. – Казань: Изд-во Казан. ун-та, 2018. – 121 с.
Гудфеллоу Я., Бенджио И., Курвилль А.  Глубокое обучение Deep Learning. — М.: ДМК-Пресс, 2017. — 652 сКаллан Р. Основные концепции нейронных сетей. М.: Вильямс 2002. 287 сКруг П.Г. Нейронные сети и нейрокомпьютеры: Учебное пособие по курсу «Микропроцессоры». М.: Издательство МЭИ, 2002. 176 с.
Москалев, Н. С. Виды архитектур нейронных сетей / Н. С. Москалев. Молодой ученый. — 2016. — № 29 (133). — С. 30-34. — URL: https://moluch.ru/archive/133/37121Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. — СПб.: Питер, 2018. — 480 с.: ил. — (Серия «Библиотека программиста»).Осовский С. Нейронные сети для обработки информации. -М.: Финансы и статистика, 2002Потопахин Виталий Романтика искусственного интеллекта. – Издательство: ДМК Пресс, 2017. – 170 с.
Сергеев А. П., Тарасов Д. А. Введение в нейросетевое моделирование. Учебное пособие; под общ. ред. А. П. Сергеева. — Екатеринбург: Изд-во Урал. ун-та, 2017 — 128 с.
Тарик Рашид Создаем нейронную сеть.: Пер. с англ. — СПб.: ООО “Альфа-книга”, 2017. — 272 с.Хайкин С. Нейронные сети: полный курс. 2 изд., исправленное: Пер. с англ. - М.: ООО «И. Д. Вильямс», 2018. - 1104 с.Интернет-ресурс: Анализ нейрокомпьютерных систем (cyberleninka.ru) (Дата обращения 05.06.2021)
Интернет-ресурс: Применение нейронных сетей для моделирования процесса токарной обработки (cyberleninka.ru) (Дата обращения 05.06.2021)
Интернет-ресурс: Нейрокомпьютерные сети и проблемы нейросетевого моделирования (elibrary.ru) (Дата обращения 05.06.2021)
Интернет-ресурс: Методика нейросетевого моделирования сложных систем (cyberleninka.ru) (Дата обращения 05.06.2021)
Интернет-ресурс: Нейросетевое моделирование систем управления (cyberleninka.ru) (Дата обращения 05.06.2021)
Интернет-ресурс: http://datascientist.one/class-type-nn (Дата обращения 05.06.2021)
Интернет-ресурс: Современные методы нейросетевого исследования (cyberleninka.ru) (Дата обращения 06.06.2021)Станкевич Ф.В., Спицын В.Г. Нейросетевое распознавание музыкальных инструментов с использованием мелчастотных кепстральных коэффициентов. - ФГАОУ ВО «Национальный исследовательский Томский политехнический университет», Фундаментальные исследования, № 12, 2014Интернет-ресурс: Выявление действий на видео с помощью рекуррентных нейронных сетей (cyberleninka.ru) (Дата обращения 07.06.2021)