Нейронные сети: виды, назначение, примеры использования

СОДЕРЖАНИЕ

Введение 3
1. Что представляет собой нейронная сеть 5
2. Виды нейронных сетей 10
3. Назначение нейронных сетей 20
4. Применение инс 24
Заключение 27
Список литературы 29

ВВЕДЕНИЕ
Нейронные сети – относительно молодая область научных исследований, являющаяся частью более обширного понятия – искусственный интеллект. Начнем с определения искусственного интеллекта как такового. Интеллект в общем понимании означает качество психики, включающее в себя способность адаптироваться к ситуации, способностью к обучению на основе опыта, применение и использование накопленных знаний для управления окружающей средой. Искусственный интеллект означает свойство интеллектуальных систем выполнять творческие функции, которые выполняет человек. Нейронные сети являются одним из способов моделирования искусственного интеллекта.
Нейронные сети всерьез начали изучать примерно в 2000-х годах, хотя создать устройства, способные мыслить, пришло людям в голову достаточно давно. В 2005-2006 годах ученые в университете Торонто и университете Монреаля научились обучать глубокие нейронные сети. Ученые-исследователи понимают, что создание разума, близкого к человеческому, может означать, что в дальнейшее развитие технологий может пойти уже без присутствия человека. Конечно, на данном этапе даже самые лучшие представители систем искусственного интеллекта не обнаруживают ключевых возможностей разума: интуиции, творчества, свободы мышления. Пока что термин «искусственный интеллект» является скорее инженерной дисциплиной. И на сегодняшний день мыслящие машины - это фантастка, но никто не может точно предполагать, куда заведут нас наши открытия и эксперименты.
Считается, что искусственный интеллект как научая область начал развиваться, когда Алан Тьюринг создал свой знаменитый тест в 1950 г. Закон теста звучит таким образом: «Если компьютер может работать так, что человек не в состоянии определить, с кем он общается — с другим человеком или с машиной, — можно считать, что он прошел тест Тьюринга». Критерий Тьюринга основан на том, что человеческая (осмысленная) речь - это неотъемлемая составляющая разума. Поэтому, когда человек – разумное существо не может уличить в бессмысленности речи своего собеседника (машину или человека), это значит, собеседник тоже разумное существо. Первый вариант теста был несколько запутанным. Современная версия представляет собой следующий эксперимент: группа экспертов общается с неизвестным существом; они не видят своего собеседника и могут общаться с ним только через какую-то изолирующую систему (клавиатуру). Им разрешается задавать собеседнику любые вопросы, вести разговор на различные темы. Если в конце эксперимента они не смогут сказать, общались ли они с машиной или с человеком, и, если окажется, что они разговаривали с машиной, можно считать, что эта машина прошла тест Тьюринга. Существуют три основных варианта теста Тьюринга.
В настоящее время исследования в области искусственных нейронных сетей (ИНС) являются очень перспективными. Исследовательские группы крупных компаний, таких как Google, Yandex, Facebook, проводят исследования в данной области.
ИНС позволяют решать прикладные задачи в различных областях человеческой деятельности: строительстве, медицине, робототехнике, экономике. Примеры работы нейронных сетей в банковской сфере: страховая деятельность банков; прогнозирование банкротств, денежных потоков, оценка кредитного риска, предсказание результатов займа. При этом они оказываются эффективнее других математических алгоритмов. Важное преимущество нейронных сетей – возможность распараллеливания алгоритма с высоким результатом (CUDA от NVIDIA).
ИНС представляют собой сложную технологию, корнями уходящую во множество дисциплин: нейрофизиологию, математику, физику, статистику, информатику. Создание систем искусственного интеллекта построено на математической логике. К построению схем ассоциативного мышления приводит обобщение понятий булевых функций. В ходе этого процесса осуществляется переход от оперирования над булевыми переменными к операциям над действительными, отражающими оценку и достоверность исходных данных.
Нейрофизиологические исследования человеческого мозга также играют важную роль в развитии систем искусственного интеллекта. Высокая эффективность работы нашего мозга обеспечена достаточно простыми элементами – нейронами (нервными клетками). Ученые выявили главный системотехнический принцип – в примитивности нейрона как раз заключается его универсальность, сам по себе один нейрон не способен что-либо сделать, но большое количество этих элементов за счет специальной организации уже способно на многое. Ведь если некий исполнитель способен выполнять какую-то простую операцию, не вникая в глобальный процесс и общую задачу, то такого исполнителя возможно вставить в любую схему. По этому принципу построены и ИНС.
На сегодняшний день единственное устройство, позволяющее моделировать искусственный интеллект, - это компьютер, который работает под управлением определенных алгоритмов, а также осуществляет параллельные вычисления.
Целью моей работы является определить, что такое нейронная сеть, рассмотреть виды нейронных сетей, обозначить их назначение, а также привести примеры использования их в современном обществе.
Что представляет собой нейронная сетьНейронная сеть – это громадный распределенный параллельный процессор, состоящий из элементарных единиц обработки информации, накапливающих экспериментальные знания и предоставляющих их для последующей обработки [ REF _Ref42024958 \r \h 1].
Наш мозг – сложнейшая биологическая нейронная сеть, которая принимает информацию из окружающего мира с помощью органов чувств и обрабатывает ее. Основное назначение биологического нейрона – обработка сигнала. Но помимо этого он должен еще выполнять функции, поддерживающие его жизнь. Человеческий мозг – это совокупность нейронов.
Устройство и работа искусственного нейрона во многом схожа с его прототипом – биологическим нейроном (рис. 1).
Рисунок 1. Биологический нейрон
Нейронная сеть имеет сходство с биологическим мозгом по двум критериям:
знания поступают из окружающей среды и используются в процессе обучения;
для накопления знаний используются связи между нейронами, которые называются синаптическими весами.
Окунемся немного в историю ИНС. Ученые полагают, что первыми математическую модель нейрона предложили Уоррен Маккаллох и Уолтер Питтс в своей статье в 1943 году [ REF _Ref42078737 \r \h 2]. Авторы говорят, бинарная природа нейронной активности (нейрон либо ≪включен≫, либо ≪выключен≫, практически без промежуточных состояний) позволяет удобно разрабатывать для нейронных сетей целый логический аппарат, формализующий ациклические графы. Можно сказать, что работа Маккаллоха и Питтса еще не относилась к машинному обучению, авторы скорее рассуждали о том, что вообще можно было бы сделать с помощью вот таких искусственных нейронов.
Первую конструкцию линейного перцептрона (перцептрон – кибернетическая модель мозга) описал Фрэнк Розенблатт в 1950-х годах. Перцептрон Розенблатта представлял собой линейную модель классификации. Но при детальном рассмотрении становится понятно, что в реальности перцептроны не могут быть линейными, иначе из них невозможно будет составить содержательную сеть. Линейный перцептрон – это скорее только теория.
Существуют различные математические модели искусственных нейронов, которые имитируют работу биологических нервных клеток. В большинстве случаев применяются вычислительные узлы, принцип которых представлен схемой на рисунке 2. Искусственный нейрон представлен как некая нелинейная функция от единственного аргумента — линейной комбинации всех входных сигналов.
Рисунок 2. Модель искусственного нейрона
На входе поступает какое-то количество сигналов x1, x2, …, xn. Каждый из них умножается на вес wi. Затем результаты суммируются, и к полученной сумме применяется активационная функция φ. Выход функции идет на вход другим нейронам. Функция активации нейрона определяет выходной сигнал, который определяется входным сигналом или набором входных сигналов.
Функции активации бывают разными. Самая простая и существующая скорее в теории, как уже говорилось выше, это линейная функция:
φx=xИсторически в нелинейных перцептронах обычно применялась функция активации (возбуждения нейрона) в виде логистического сигмоида [ REF _Ref42078737 \r \h 2]:
σx=11+exЭта функция обладает всеми свойствами, необходимыми для нелинейности в нейронной сети: она ограничена, стремится к нулю при x→∞ и к единице при x→∞, везде дифференцируема, и производную ее легко подсчитать как σ,x=σx(1-fx). Сигмоидальная функция – не единственная нелинейная функция, которая используется в ИНС, хотя она до сих пор является достаточно популярной. Существует много разных функций активации.
Гиперболический тангенс:
tanhx=ex-e-xex+e-xОчень похож по свойствам на логистический сигмоид: также непрерывен, также ограничен, и производную от него также легко подсчитать через него самого: tanh,x=1-tanh2x. Если рассматривать графики функций, то по сравнению с логистическим сигмоидом у гиперболического тангенса значительно круче линии подъема и спуска, и он быстрее приближается к своим пределам. Гиперболический тангенс часто используется в некоторых приложениях нейронных сетей, например, в компьютерном зрении.
Ступенчатая функция (функция Хэвисайда):
step x={0, если x<01, если x>0Эта функция применялась в ранних конструкциях перцептронов. Она не определена в нуле, но это не очень мешает вести обучение: ее можно доопределить, например, как step(x) = ½. Даже на практике случайно попасть точно в ноль вряд ли получится.
Но на ступенчатых функциях активации сеть с несколькими уровнями не построить, так как производная от ступеньки всегда равна нулю. Таким образом, градиент будет умножаться на производную функции step´(x)=0, в результате чего будут получаться одни нули, следовательно, градиенты не дойдут от выходов к входам.
Вышеперечисленные функции - это классические функции активации, но есть и другие, более современные. Главная идея, во многом изменившая архитектурные основы современных нейронных сетей, — это так называемые rectified linear units (ReLU). Функция активации у них кусочно-линейная:
ReLU x={0, если x<0x, если x≥0или
ReLU x=max(0;x)Следует отметить, что ReLU-нейроны эффективнее, чем основанные на логистическом сигмоиде и гиперболическом тангенсе. У данной функции активации существуют различные модификации и обобщения. Например, «протекающий ReLU» (Leaky ReLU, LReLU):
LReLU x={ax, если x<0x, если x>0Здесь а – это небольшая положительная константа. Например, а=0,1.
Другая модификация ReLU – функции — это экспоненциальный линейный нейрон (Exponential Linear Unit, ELU), в котором на отрицательных значениях аргумента функция активации становится экспоненциальной:
ЕLU x={a(ex-1), если x<0x , если x≥0В таблице 1 представлены основные активационные функции.
Таблица 1. Сводная таблица различных функций активации [ REF _Ref42078737 \r \h 2]
Для наглядности на рисунке 3 приведены графики основных функций активации.
Рисунок 3. Графики различных функций активации
Структура ИНС зависит от используемых алгоритмов обучения [ REF _Ref42024958 \r \h 1]. При построении нейронной сети как правило применяются послойные архитектуры, когда нейроны объединяются в группы (слои), и связи устанавливаются только между нейронами соседних слоев. Подобное построение удобно тем, что производимые в слое вычисления можно представить в виде матричного умножения, что дает больше возможностей для ускорения вычислений. В настоящее время ведется работа по исследованию так называемых хаотических нейронных сетей [ REF _Ref42209037 \r \h 6], но пока в этой области получены гораздо менее впечатляющие результаты. На рисунке 4 изображен пример послойной архитектуры нейронной сети. Красным цветом обозначены входные нейроны, желтым – скрытые, зеленым – выходные нейроны.
Рисунок 4. Послойная архитектура нейронной сети
ВИДЫ НЕЙРОННЫХ СЕТЕЙЗа период своего развития, ИНС разделились на множество типов, которые переплетаются между собой в различных задачах. На данный момент существуют несколько критериев, по которым можно классифицировать ИНС. Это можно сделать по принципу применения, типу входной информации, характеру обучения, характеру связей, сфере применения. На рисунке 5 представлена общая классификация нейронных сетей.
Рисунок 5. Общая классификация нейронных сетей
ИНС классифицируют по типу входной информации [ REF _Ref42077746 \r \h 9]:
Аналоговые нейронные сети;
Двоичные нейронные сети;
Образные нейронные сети.
В аналоговой ИНС входная информация представлена исключительно в форме действительных чисел. Двоичные же нейронные сети оперируют с информацией, представленной в двоичном виде, то есть вся входная информация в таких сетях представлена в виде нулей и единиц. Образные нейронные сети (используются реже) оперируют с информацией, представленной в виде образов: символов, знаков, иероглифов и т. п.
ИНС классифицируют по характеру обучения:
Обучение с учителем — выходное пространство решений нейронной сети известно;
Обучение без учителя — нейронная сеть формирует выходное пространство решений только на основе входных воздействий. Такие сети называют самоорганизующимися;
Обучение с подкреплением — система назначения штрафов и поощрений от среды.
Что подразумевает под собой обучение нейронной сети? Обучение нейронной сети (Training) — поиск такого набора весовых коэффициентов, при котором входной сигнал после прохода по сети преобразуется в нужный нам выходной.
Такой определение обучению нейронной сети соответствует и биологическим нейросетям. Биологический мозг состоит из огромного количества связанных друг с другом нейросетей. Нейроны, составляющие нейросети, одного типа (функция активации одинаковая). Обучение происходит благодаря изменению синапсов – элементов, которые усиливают или ослабляют входной сигнал.
Нужно учитывать, что, если обучать сеть, используя только один входной сигнал, то сеть просто «запомнит правильный ответ». В таком случае может показаться, что она очень быстро «обучилась». Следовательно, как только подать немного измененный сигнал, сеть выдаст бессмыслицу. Задача обучения нейросети – обобщать те или иные признаки и отсортировывать то, что не подходит.
Обучающая выборка (Training set) — конечный набор входных сигналов (иногда вместе с правильными выходными сигналами), по которым происходит обучение сети.
Перед запуском нейросетей в работу их обычно тестируют с помощью так называемой тестовой выборки. Тестовая выборка (Testing set) — конечный набор входных сигналов (иногда вместе с правильными выходными сигналами), по которым происходит оценка качества работы сети.
Обучение ИНС с учителем (Supervised learning) подразумевает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход [ REF _Ref42258319 \r \h \* MERGEFORMAT 10]. При таком виде обучения веса нейронной сети меняются так, чтобы ответы сети минимально отличались от уже готовых правильных ответов. Пара входной вектор и целевой вектор называются обучающей парой. Обычно существует некое количество таких пар, на который обучается сеть. Обучение происходит следующим образом: предъявляется выходной вектор, вычисляется выход сети и сравнивается с соответствующим целевым вектором. Затем веса изменяются в соответствии с алгоритмом обучения, стремящимся свести ошибку к минимуму. Векторы обучающего множества предъявляются последовательно, вычисляются ошибки, веса подстраиваются для каждого вектора до тех пор, пока ошибка по всему обучающему массиву не достигнет нужного уровня. Откуда же берутся правильные ответы? Приведу пример. Допустим, мы хотим, чтобы наша сеть узнавала лица. Тогда мы создаем обучающую выборку, к примеру, на 1000 фотографий (входные сигналы) и самостоятельно выделяем нужные лица (правильные ответы). Конечно, учитель – это не обязательно человек. Иногда сеть нужно тренировать часами, и даже днями. И, как правило, роль учителя выполняет компьютерная программа.
Обучение ИНС без учителя (Unsupervised learning) — вид обучения сети, при котором сеть самостоятельно распознает и классифицирует входные сигналы, иначе говоря сеть начинает кластеризацию. Обучение без учителя является намного более правдоподобной моделью обучения с точки зрения биологических корней искусственных нейронных сетей. Правильные (эталонные) выходные сигналы не демонстрируются. Обучающая выборка состоит только из набора входных сигналов. Обучающий алгоритм подстраивает веса сети так, чтобы получались согласованные выходные векторы, т. е. чтобы предъявление двух достаточно близких входных векторов давало два одинаковых выхода. Следовательно, процесс обучения выделяет статистические свойства обучающего множества и группирует сходные векторы в классы [ REF _Ref42258319 \r \h 10].
Подобная модель была развита Кохоненом и многими другими. Такая модель не нуждается в целевом векторе для выходов и, поэтому, не требует сравнения с предопределенными идеально правильными ответами.
Приведу пример. Например, мы будем демонстрировать сети карандаши, шариковые ручки и кисточки. Мы никак не регулируем работу сети, просто подаем на ее входы данные о данных объектах. По прошествии какого-то времени сеть начнет выдавать сигналы трех разных типов, которые отвечают за объекты на входе.
Основным инструментом для предобучения без учителя в работах группы Хинтона стали так называемые ограниченные машины Больтщана (restricted Boltzmann machines).
Это вероятностная модель известна еще с 80-х годов прошлого века [ REF _Ref42266898 \r \h 3], в которой есть видимые (visible) переменные, значения которых мы знаем, и скрытые (hidden), значений которых мы не знаем, а также связи между ними. И задача обучения состоит в том, чтобы обучить веса этих связей так, чтобы распределение, порождаемое скрытыми переменными на видимых, было как можно больше похоже на распределение входных данных. Алгоритм, который такое обучение реализует, получил название contrastive divergence. Он представляет собой упрощенную версию алгоритма сэмплирования Монте-Карло для соответствующей вероятностной модели.
Алгоритм Монте-Карло тоже придуман Хитоном еще в 2002 году, а в 2005 году в его работе появилась ключевая идея предобучения: начать с contrastive divergence, чтобы обучить начальную точку, а потом дообучить результат при помощи обычного обучения с учителем.
По тому же принципу можно построить и глубокую модель. Такая конструкция получила название глубокой машины Больцмана (DBN - Deep Boltzmann machine). После своего появления в 2005-2006 годах этот подход к предобучению несколько лет применялся очень активно. Есть и теоретические результаты, показывающие, что вся эта конструкция действительно делает то, что надо, то есть улучшает некоторую оценку общего правдоподобия модели.
ИНС классифицируют по характеру настройки сигналов (весов):
Сети с фиксированными связями;
Сети с динамическими связями.
Сети с фиксированными связями – это такие сети, весовые коэффициенты нейронной сети выбираются сразу, исходя из условий задачи, при этом: dW/dt=0, где W — весовые коэффициенты сети.
Сети с динамическими связями – такие сети, в процессе обучения которых происходит настройка синаптических связей, то есть dW/dt≠0, где W — весовые коэффициенты сети.
ИНС классифицируют по характеру связей [ REF _Ref42077746 \r \h 9]:
Нейтронные сети прямого распространения;
Рекуррентные нейронные сети;
Радиально-базисные функции;
Самоорганизующиеся карты.
Классификация нейросетей по характеру связей приставлена на рисунке 6.
Рисунок 6. Классификация ИНС по характеру связей
ИНС прямого распространения (Feedforward neural network) – такие нейронные сети, в которых все связи направлены строго от входных нейронов к выходным. В обратном направлении сигнал не распространяется. К таким сетям относятся и простейший персептрон (разработанный Ройзенблитом), о котором говорилось выше, и многослойный персептрон.
Рисунок 7. ИНС прямого распространения
Также существуют ИНС с обратными связями. ИНС с обратными связями (Recurrent neural network) — искусственные нейронные сети, в которых выход нейрона может вновь подаваться на его вход (рис. 8). Это означает возможность распространения сигнала от выходов к входам: выход какого-нибудь нейрона определяется не только его весами и входным сигналом, но еще и предыдущими выходами (так как они снова вернулись на входы). Возможность сигналов циркулировать в сети открывает новые преимущества и возможности нейронных сетей. С помощью таких сетей можно создавать нейросети, восстанавливающие или дополняющие сигналы. Можно сказать, что такие нейросети имеют свойства кратковременной памяти (как у человека).
Рисунок 8. Нейронная сеть с обратными связями
К ИНС с обратными связями относятся рекуррентные нейронные сети, радиально-базисные функции и самоорганизующиеся карты (Сети Кохонена).
Рекуррентные ИНС – сигнал с выходных нейронов или нейронов скрытого слоя частично передается обратно на входы нейронов входного слоя (рис. 9). Этот тип нейросети, в котором связи между элементами могут обрабатывать серии различных событий во времени или работать с последовательными цепочками в пространстве. Такой тип часто применяют там, где что-то целое разбито на куски (распознавание речи или рукописного текста). От нее пошло множество видов сетей, в том числе Хопфилда, Элмана и Джордана [ REF _Ref42271271 \r \h 11].
Рисунок 9. Рекуррентная нейронная сеть
Радиально базисные функции – вид нейронной сети, которая имеет скрытый слой из радиальных элементов и выходной слой из линейных элементов (рис. 10). Такие сети довольно компактны и быстро обучаются. Были первоначально предложены в работах Broomhead and Lowe (1988) и Moody and Darkin (1989). Радиально базисная ИНС обладает следующими свойствами: один скрытый слой, только нейроны скрытого слоя имеют нелинейную активационную функцию и синаптические веса входного и скрытого слоев равны единицы.
Рисунок 10. Радиально-базисная функция.
Самоорганизующиеся карты или Сети Кохонена – такой класс сетей, как правило, обучается без учителя и успешно применяется в задачах распознавания. Сети такого класса способны выявлять новизну во входных данных: если после обучения сеть встретится с набором данных, непохожим ни на один из известных образцов, то она не сможет классифицировать такой набор и тем самым выявит его новизну. Сеть Кохонена имеет всего два слоя: входной и выходной, составленный из радиальных элементов [ REF _Ref42258319 \r \h 10].
Рисунок 11. Нейронная сеть Кохонена
Существует большое разнообразие различных архитектур нейросетей. Из многослойных хотелось выделить сверточную нейросеть, она имеет ряд преимуществ и является одним из популярнейших типов нейросети. Используется в основном для распознавания определенной информации в фотографиях и видео, системах для рекомендаций, а также при обработке языка.
Характеристики сверточной сети: отличная масштабируемость – проводят распознания образов любого разрешения (какое бы не было оно большое); использование объемных трехмерных нейронов – внутри слоя, нейроны связаны малым полем, которое называется рецептивным слоем; механизм пространственной локализации – соседние слои нейронов связаны таким механизмом, за счет чего обеспечивается работа нелинейных фильтров и захватывается большее число пикселей графического изображения.
Мысль создать такой тип нейросети возникла при тщательном изучении зрительной коры, которая в больших полушариях мозга отвечает за обработку визуальной составляющей. Основной критерий выбора в сторону ИНС сверточного типа является то, что она в составе технологий глубокого обучения. Схожий тип с перцептроном, но разница в том, что здесь используется ограниченная матрица весов, сдвигаемая по обрабатываемому слою, вместо полносвязной нейронной сети [ REF _Ref42271271 \r \h 11].
Технология глубокого обучения (Deep learning) подразумевают степень сложности (глубины) нейронной сети. В этой технологии используется множество слоев для решения сложных задач при помощи шаблонов.
В таблице 2 приведено сравнение нейронных сетей по принципу и сфере применения, а также по типу обучения.
Таблица 2. Принципы и сферы применения нейронных сетей
Нейронная сеть Принцип применения Обучение с учителем (+) или без(-) или смешанное (с) Сфера применения
Перцептрон Розенблатта Распознание образов, принятие решений, прогнозирование, аппроксимация, анализ данных + Практически любая сфера применения, кроме оптимизации информации
Хопфилда Сжатие данных и ассоциативная память — Строение компьютерных систем
Кохонена Кластеризация, сжатие данных, анализ данных, оптимизация — Финансы, базы данных
Радиально-базисных функций (RBF-сеть) Принятие решений и управление, аппроксимация, прогнозирование с Управленческие структуры, нейроуправление
Свёрточная Распознание образов + Обработка графических данных
Импульсная Принятие решение, распознавание образов, анализ данных с назначение нейронных сетейРаспознавание образов.
Одно из назначений ИНС – распознавание похожих образов. Образами могут служить буквы, предметы и другие объекты. Например, можно обучить нейронную сеть распознавать рукописный текст. В этом случае для каждой буквы алфавита подбирается обучающая выборка – совокупность вариантов написания этой буквы (например, буква, написанная несколькими людьми). На этом этапе происходит подбор синапсов (весов) нейронов, и сеть «запоминает» как выглядит эта буква. В результате такого обучения нейросеть будет правильно распознавать эту букву, написанную и другим почерком.
Рисунок 12. Распознавание почерка нейронной сетью
Как это происходит технически? Изображения букв сканируются и оцифровываются. В результате чего мы наблюдаем два типа пикселей – закрашенные и не закрашенные. Закрашенные пиксели воспринимаются сетью как единицы, а не закрашенные как нули, получается матрица буквы. Эта матрица и подаётся на вход сети.
По такой же технологии можно научить нейросеть распознавать предметы. Например, на производстве можно разделять различные детали и заготовки в автоматических производственных линиях. Деталь оцифровывается, превращаясь в массив из нулей и единиц (1 – часть тела детали, 0 – отсутствует тело детали). Этот массив –  входные данные для нейронной сети.
Нужно отметить, что количество входов сети определяется размерностью массива (зависит от максимальных габаритных размеров деталей, производимых на данной производственной линии) [ REF _Ref42271271 \r \h REF _Ref42333194 \r \h 13].
Решение задач классификации с помощью нейронной сети
Иногда требуется решение задач с большим количеством входных факторов, которые сложно связать между собой математически. ИНС могут быть использованы для разделения событий, объектов и других данных на определённые классы.
Рисунок 13. Разделение событий с помощью ИНС
Таким образом можно классифицировать пациентов поликлиники по состоянию здоровья на основе данных из медицинских карт или классифицировать клиентов банка по платёжеспособности на основе их кредитной истории. Набор категорий точно задаётся заранее (для клиентов банка это могут быть категории: «Ненадёжные клиенты», «Надёжные клиенты», «Потенциально ненадёжные клиенты», и т.д.)
Решение задач кластеризации с помощью нейронной сети
Задачи кластеризации не имеют заранее определённых категорий, на которые нужно разделить все данные, в остальном они похожи на задачи классификации. ИНС сама создаёт категории, называемые кластерами, основываясь на общих признаках данных.  Это позволяет представить массив данных в более наглядном виде, найти похожие данные в тех случаях, когда их сходство не очевидно.
ИНС в качестве алгоритма адаптации
Данное назначение ИНС актуально для робототехники. Роботу задаются некие параметры: как вести себя в тех или иных ситуациях. Зачастую невозможно заранее предсказать все такие ситуации и запрограммировать поведение робота в каждом из этих случаев. В этих случаях в систему управления робота включают нейросетевые алгоритмы.
Рисунок 14. Робот, созданный с помощью нейросетевых алгоритмов
С помощью обучающей выборки, состоящей из известных ситуаций, в которых может оказаться робот, нейронная сеть позволит системе управления робота адаптироваться к ситуациям, которые отсутствуют в обучающих примерах.
Решение задач прогнозирования с помощью нейронной сети
Прогнозирование – достаточно распространенная задача в производственных, экономических и финансовых сферах. Эта задача возникает тогда, когда необходимо предсказать, как система поведёт себя в той или иной ситуации. ИНС широко используются для решения задач прогнозирования, благодаря «их умению» находить зависимость между большим количеством параметров.
Рисунок 15. Прогнозирование с помощью нейронной сети
Технически это происходит так: при обучении нейронной сети мы как бы получаем график целевой функции, зависящей от множества параметров, но мы не можем выразить его аналитически или отобразить графически, но его «знает» наша нейронная сеть – её коэффициенты подобраны таким образом (при анализе курсов валют, обучив сеть, используя данные за последние несколько месяцев, можно спрогнозировать курс на ближайшее время).
В энергетической промышленности стоит задача составления прогноза потребления энергоресурсов. Выработанная на электростанции энергия должна быть продана потребителям, иначе её будут убытки для компании. Для этого составляется прогноз потребления электроэнергии с помощью нейронной сети, обученную на данных по статистике энергопотребления за предыдущий период [ REF _Ref42271271 \r \h REF _Ref42333194 \r \h 13].
Из всего вышесказанного получается, что ИНС хорошо подходят для распознавания образов и решения задач классификации, оптимизации и прогнозирования. В нефтяной и химической промышленности ИНС могут применяться для анализа геологической информации, разведки залежей минералов по данным аэрофотосъемок, идентификации неисправностей оборудования, анализа составов примесей, управления манипуляторами, управления качеством, обнаружения неисправностей и т.д. [ REF _Ref42336269 \r \h 12 REF _Ref42271271 \r \h REF _Ref42333194 \r \h ].
В качестве примера хочу привести компанию Facebook, которая значительно преуспела, в распознавании лиц на фотографиях с помощью глубинного обучения. Это поворотный момент в области нейротехнологий, изменяющий более ранние представления: «Человек может с вероятностью в 97.53% определить, один ли человек представлен на двух разных фотографиях. Программа, разработанная командой Facebook, может делать это с вероятностью в 97.25% вне зависимости от освещения или того, смотрит ли человек прямо в камеру или повернут к ней боком». Также преуспело и распознавание речи. Команда Baidu (один из лидирующих поисковиков Китая) разработала систему распознавания речи, сумевшую опередить человека в скорости и точности написания текста на мобильных устройствах на двух языках - на английском и мандаринском. Что особенно занимательно – написание общей нейросети для двух абсолютно разных языков не потребовало особенного труда: «Так исторически сложилось, что люди видели Китайский и Английский, как два совершенно разных языка, поэтому и подход к каждому из них требовался различный», — говорит начальник исследовательского центра Baidu, Andrew Ng». Google использует глубинное обучение для управления энергией в датацентрах компании. Они смогли сократить затраты ресурсов для охлаждения на 40%, а это миллионы долларов экономии [ REF _Ref42336609 \r \h 6 REF _Ref42271271 \r \h REF _Ref42333194 \r \h ].
применение ИНСИНС, как уже говорилось во введении, применяются во многих областях науки и техники. Приведу некоторые примеры.
В области телекоммуникаций ИНС решают такие задачи, как проектирование и оптимизация сетей связи (нахождение оптимального пути трафика между узлами). Кроме управления маршрутизацией потоков, нейронные сети используются для получения эффективных решений в области проектирования новых телекоммуникационных сетей.
Распознавание речи – одна из наиболее популярных областей применения нейронных сетей. Первым значительным индустриальным приложением современных глубоких нейронных сетей были успехи в распознавании речи.
Ещё одна область – управление ценами и производством.  Неоптимальное планирования производства несет за собой весомые потери. Поскольку спрос и условия реализации продукции зависят от разных факторов, то и объём производства должен гибко варьироваться с целью оптимального использования ресурсов. ИНС обнаруживает сложные зависимости между затратами на рекламу, объёмами продаж, ценой, ценами конкурентов, днём недели, сезоном и т. д. В результате использования системы осуществляется выбор оптимальной стратегии производства с точки зрения максимизации объёма продаж или прибыли.
Маркетинг – еще одна область, где применяются ИНС. При анализе потребительского рынка, когда классические методы прогнозирования отклика потребителей недостаточно точны, используется прогнозирующая ИНС с адаптивной архитектурой нейросимулятора. Исследование спроса позволяет сохранить бизнес компании и сделать его конкурентоспособным. ИНС позволяет выявлять сложные зависимости между факторами спроса, прогнозировать поведение потребителей при изменении маркетинговой политики, находить наиболее значимые факторы и оптимальные стратегии рекламы.
В медицинской диагностике ИНС применяются для диагностики слуха у грудных детей. Система объективной диагностики обрабатывает зарегистрированные «вызванные потенциалы» (отклики мозга), проявляющиеся в виде всплесков на электроэнцефалограмме, в ответ на звуковой раздражитель, синтезируемый в процессе обследования. В медицине также ИНС также используются для диагностических систем, в кардиодиагностике (диагностика инфаркта миокарда). С помощью нейросетей осуществляется прогнозирование нахождения пациента в палате интенсивной терапии. Применяются ИНС в диагностике онкологических заболеваний: диагностика рака молочной железы, рака кожи.
В финансовой, экономической, банковской сферах нейронные сети применяются также для прогнозирования краткосрочных и долгосрочных тенденций в различных областях.
Нестандартные применения нейронных сетей. Ученые Стэнфорда недавно придумали очень необычное применение нейронной сети CNN для предсказания бедности (рис. 16). Концепция достаточно проста, основана на том, что в Африке уровень бедности зашкаливает. Так как там нет даже возможности собирать социальные демографические данные, то с 2005 года нет никаких данных о том, что там происходит. Учёные собирали дневные и ночные карты со спутников и обучали нейронную сеть.
Дневные карты были сопоставлены с картами ночной освещенности того же участка поверхности для того, чтобы показать, насколько есть деньги у населения, чтобы включать электричество в своих домах в ночное время.
Рисунок 16. Прогнозирование уровня бедности с помощью нейронной сети
На рисунке 16 мы видим результаты прогноза, построенного ИНС. Прогноз был сделан с различным разрешением, содержит в том числе реальные данные, собранные правительством Уганды в 2005 году. Можно сказать, нейросеть составила достаточно точный прогноз.
Еще одно нестандартное применение нейросетей medical imaging — семантическая сегментация 3D изображений в медицине, но у нас очень мало баз данных. Не так легко найти картинку мозга, к тому же повреждённого, и взять ее тоже ниоткуда нельзя.
Управление предприятием (plant) также можно осуществлять с помощью нейронной сети. Под термином «предприятие» понимается процесс или критическая часть системы, которые подлежат управлению.
Но в некоторых областях ИНС все есть куда стремиться.