Анализ перспективного направления развития машинного обучения

Оглавление  

ВВЕДЕНИЕ   3

1 Обзор алгоритмов машинного обучения   5

1.1 Обзор способов анализа данных с использованием машинного обучения   5

1.2 Сравнение рассмотренных способов анализа с использованием машинного обучения   9

1.3 Анализ перспективного направления развития машинного обучения  11

2 Практические аспекты алгоритмов машинного обучения   14

2.1. Система рекомендаций  14

2.1.1. Подготовка данных   15

2.1.2. Обучение модели   19

2.2. Линейная регрессия  22

2.2.1. Подготовка данных для обучения  22

2.2.2. Отбор и выделение признаков   25

2.2.3. Обучение и оценка качества модели  25

2.3. Логистическая регрессия   26

2.3.1. Подготовка данных  26

2.3.2. Разделение данных на выборки   28

2.3.3. Обучение модели  29

2.4 Решающее дерево   30

2.5. Случайный лес  31

2.6. Тестирование модели   31

Вывод   32

ВВЕДЕНИЕ

Машинное обучение играет важную роль в современной жизни. Оно используется во всех отраслях жизни человека, механизмы машинного обучения могут быть незаметны для конечного пользователя, но большинство процессов имеющие сложные технические вычисления и цель решение какой-либо задачи, которая дается машине, используют алгоритмы машинного обучения. Автоматизированные алгоритмы имеют гораздо большую скорость, чем если те же задачи были бы решаемы программистом, так исключается, например, повторение одной и той же процедуры для разных типов данных их анализа и свода в одну статистику подсчитанных данных. Так же машинное обучение может применяться для обучения машины, чтобы создавать различные модели и программы на основе любых данных, которые вводятся пользователем и взяты из базы данных.Объектом исследования данной работы являются аспекты алгоритмов машинного обучения. Рассмотрены такие типы машинного обучения, как: Система рекомендаций, линейная регрессия, логистическая регрессия, дерево решений и случайный лес.Целью работы является рассмотреть каждый тип обучения и на практике познакомиться, как использовать такие типы обучения, чтобы в последующем использовать их в профессиональной деятельности.Задачами, при выполнении исследования будут:Построение графического представленияВыбор данных для моделиПредставление данных в корректном виде для использования в машинном обученииНаписание кода для осуществления алгоритма машинного обученияПостроение выводов после осуществления обучения модели на введенных данных и отображение графически результатов алгоритмаСравнение алгоритмов между собойМетоды исследования включают в себя:Анализ СтатистикаСравнениеВсе эти методы будут применены в работе к входным и выходным данным работы.Работа будет состоять из глав:Обзор алгоритмов машинного обученияПрактические аспекты алгоритмов машинного обучения

Вывод:В главе сделан анализ типов задач и алгоритмов, проведен подробный разбор типов регрессии и сравнение алгоритмов регрессии между собой.Для более глубокого анализа данных был развернут процесс анализа данных – разделяя его на 3 фазы для лучшей аналитики данных.2 Практические аспекты алгоритмов машинного обученияПрактическая часть курсовой работы часть осуществлена с использованием ПО на Python, использован Jupiter NoteBook, так же задействовано использование таких библиотек как:Pandas -это библиотека для чтения и записи в сторонние приложения (Excel, a так же форматы: txt, csv, pkg), обработки и анализа данных, преобразование любых данных в датафреймы, то есть формат который можно использовать для отображения внутри программы Jupiter NoteBook и проводить различные операции внутри программного кода.Numpy – библиотека, которая потребовалась в курсовой работе для преобразования списков в массивы числовых данных и для последующего преобразования этих массивов в матрицыMatplotlib отвечате за графическое отображение данных: диаграммы, графики, точки на графиках, функции, корректное отображение единиц измерения на графиках.Sklearn использовалась библиотека для обработки данных, применения и вызова различных классов для операций над данными.2.1. Система рекомендацийТакая система создана для того чтобы предложить конечному пользователю наиболее походящую услуга(в данном случае книгу). Весь текст программы для создания системы рекомендаций находится в приложении 1.Создание системы рекомендаций, основанную на соседстве (подбор группы похожих)Все данные были скачаны из источника [1]. Использовались две таблицы данных:books.csvratings.csvПри просмотре данных после загрузки данных в программу Jupiter Notebook, можно увидеть первые пять строк таблицы и все колонки таблицы (Рисунок 6, Рисунок 7).Рисунок 6. Исходные данные датасета booksРисунок 7. Исходные данные датасета ratings2.1.1. Подготовка данныхВ машинном обучении первым пунктом работы над данными всегда является обработка/подготовка данных к анализу, данные взятые с публичного репозитория Kaggle структурированы, но содержат ненужные для программиста данные, поэтому несколько колонок из таблицы data_books, которая относится к таблице books.csv, удаляются.Рисунок 8. Результат после удаления колонок “Image-URL-S”, “ Image-URL-M”, “ Image-URL-L”.)...