Apache Kafka, место в современных корпорациях, современные методы и инструменты веб-тестирования

Аннотация. В статье выполнен сравнительный анализ различных инструментов, позволяющих проводить нагрузочное тестирование, тестирование стабильности, стресс-тестирование и конфигурационное тестирование платформы Apache Kafka для повышения ее производительности работы. Цель исследования: выбрать инструмент для тестирования платформы Apache Kafka, который комбинирует методы нагрузочного тестирования, тестирования стабильности, стресс-тестирования и конфигурационного тестирования. Задачи исследования: проанализировать возможности и состав платформы Apache Kafka, выявить особенности методов нагрузочного тестирования, тестирования стабильности, стресс-тестирования и конфигурационного тестирования, выявить наиболее эффективные инструменты для тестирования платформы Apache Kafka. Материалы. Информационной базой для исследования выступили методы нагрузочного тестирования, тестирования стабильности, стресс-тестирования и конфигурационного тестирования и инструменты тестирования IBM Rational Performance Tester, HP Load Runner, Apache JMeter. Методы исследования: методы логического наблюдения и сбора фактов, анализа и сравнения, обобщения, аналогии, постановки, методы решения проблем, систематизации и классификации. Результаты исследования, выводы: наиболее эффективными инструментами для тестирования платформы Apache Kafka являются программы компанией IBM и HP.
Ключевые слова: Apache Kafka, тестирование, методы, инструменты, сравнение, возможности.
Apache Kafka, a place in modern corporations, modern methods and tools for testing
Annotation. The article provides a comparative analysis of various tools that allow you to perform load testing, stability testing, stress testing, and configuration testing of the Apache Kafka platform to improve its performance. The purpose of the research: to choose a tool for testing of the platform. Apache Kafka, which combines load testing, stability testing, stress testing, and configuration testing methods. Research objectives: to analyze the capabilities and composition of the Apache Kafka platform, to identify the features of load testing, stability testing, stress testing and configuration testing methods, to identify the most effective tools for testing of the Apache Kafka platform. Materials. The information base for the research was the methods of load testing, stability testing, stress testing and configuration testing, and testing tools IBM Rational Performance Tester, HP Load Runner, and Apache JMeter. Research methods: methods of logical observation and collection of facts, analysis and comparison, generalization, analogy, statement, methods of solving problems, systematization and classification. Research results, conclusions: the most effective tools for testing of the Apache Kafka platform are programs by IBM and HP.
Keywords: Apache Kafka, testing, methods, tools, comparison, features.
В настоящее время в работе разработчиков современных корпораций получала распространение платформа Apache Kafka, которая является масштабируемой, гибкой системой для обмена сообщений внутри background-приложений.
К основным возможностям платформы Apache Kafka относятся [4]:
- обеспечение взаимосвязи между микросервисами;
- создание собственных сценариев при организации потоков данных;
- сбор метрик данных;
- хранение сообщений в виде логов и тем самым снижение нагрузку на базу данных.
Платформа Apache Kafka решает проблемы централизации обмена сообщениями между различными сервисами. При ее использовании в разработке исключаются проблемы потери сообщений, дублирования данных, создания буфера данных с нескольких сервисов.
Надежность и отказоустойчивость платформы Apache Kafka обеспечивает то, что хранение и пересылка данных осуществляется в параллельном режиме на разных сервисах. Для наращивания мощности существует возможность установки дополнительных серверов, которые приводят к масштабированию системы
В состав платформы Apache Kafka входит broker, представленный в виде распределенной системы, в которой серверы объединены в классы. Каждый тип событий в платформе размещен в отдельном бинарном topic-файле, и он выступает классификатором событий [3].
В платформе Apache Kafka функции хранилища исполняет zookeeper, а для записи данных предусмотрен сервис producer. За извлечения данных из платформы отвечает сервис модерации.
Для повышения производительности работы платформы Apache Kafka проводят нагрузочное тестирование, тестирование стабильности, стресс-тестирование и конфигурационное тестирование [1].
Тестирование производительности платформы Apache Kafka позволяет оценить ее работу под определенной нагрузкой. Методы тестирования производительности разделяются на четыре основных вида:
- методы тестирования для проведения нагрузочного тестирования, то есть для оценки показателей производительности платформы Apache Kafka, времени отклика на запросы;
- методы тестирования для проведения тестирования стабильности предусматривают проведение оценки работы платформы Apache Kafka под ожидаемой нагрузкой. При проведении данного вида тестирования достаточно много внимания уделяется потреблению памяти для выявления утечек данных;
- методы стресс-тестирования позволяют оценить устойчивость и надежность работы платформы Apache Kafka в экстремальных нагрузках, то есть оценить её производительность, если нагрузка превышает максимум;
- методы конфигурационного тестирования используются при проведении экспериментов и в их состав входят различные методы балансировки нагрузки платформы Apache Kafka.
На рынке программного обеспечения для проведения различных видов тестирования распространение получили такие инструменты как IBM Rational Performance Tester, HP Load Runner, Apache JMeter.
Программа IBM Rational Performance Tester представлена на рынке компанией IBM Rational Software и к его функциональным возможностям относятся [5]:
- поддержка обмена данными по протоколам HTTP/ HTTPS, SAP, Siebel, SIP, TCP Socket, Citrix, Windows Sockets;
- быстрая обработка данных без написания программного кода и навыков программирования;
- встроенный редактор тестов, представленный в виде древовидной структуры;
- гибкое моделирование различной степени пользовательской нагрузки;
- наличие инструментария для разработчиков ПО.
Следующим инструментом для комплексного тестирования платформы Apache Kafka является программный комплекс HP Load Runner, который предложен компаний HP [6].
Программный комплекс HP Load Runner применяется для оценки реальной нагрузки на платформу Apache Kafka. При этом через интерфейс можно выполнить сбор информации о подключённых серверах [2].
К функциональным возможностям инструмента для тестирования платформы Apache Kafka HP Load Runner относятся [7]:
- наличие интерактивного графического интерфейса для работы пользователя;
- проведение детального анализа и контроля выполнения различных сценариев обработки данных;
- русскоязычный интерфейс.
Следующим инструментом для тестирования платформы Apache Kafka является программа Apache JMeter, которая относятся к свободному программному обеспечению, имеющему открытый исходный код. К возможностям инструмента для тестирования платформы Apache Kafka Apache JMeter относятся [9]:
- поддержка передачи по протоколам HTTP/HTTPS, SOAP, FTP, JDBC, LDAP, JMS, SMTP, POP3, IMAP, MongoDB, TCP;
- собственные сценарии обработки данных;
- наличие анализатора нагрузки сети;
- параллельная обработка данных и других операций;
- поддержка функций воспроизведения результатов тестирования;
- возможность изменения теста в процессе работы.
В работе Темичева А. А. выполнено сравнение инструментов для тестирования платформы Apache Kafka по 5-ти бальной шкале с помощью таблицы 1 [8].
Таблица 1. Сравнение инструментов тестирования по 5-ти балльной шкале оценки
Критерий сравнения IBM RPT HP Load Runner Apace JMeter
Кроссплатформенность 5 5 5
Уровень автоматизации 5 4 3
Цена покупки 1 1 5
Системные требования 4 4 4
Поддержка различных протоколов передачи данных 5 5 5
Гибкость в управлении нагрузкой 5 4 5
Ведение журнала событий 5 5 4
Динамическая обработка данных с формированием результатов 2 2 1
Ручное создание сценария тестирования 5 5 5
Ручное конфигурирование результатов 4 4 4
Наличие средств для мониторинга нагрузки 5 5 4
Анализатор результатов 5 5 3
Сравнение инструментов для тестирования платформы Apache Kafka показало, что наиболее эффективными инструментами являются программы компанией IBM и HP. Они поддерживают необходимые требования для проведения тестирования, оснащены средствами визуализации и результатов, а также создают возможности ручной отправки тестовых сценариев и скриптов.
Список литературы:
Золотухина, Е. Б. Обзор методов тестирования программного обеспечения / Е. Б. Золотухина // Аллея науки. – 2018. - №6. – С.10-18.
Караханова, А. А. Анализ методов тестирования программного обеспечения / А. А. Караханова // Синергия наук. – 2019. – №41. – С.271-279.
Опенкин, Д. Ю. Анализ методов тестирования программного обеспечения / Д. Ю. Опенкин // Системы управления, технические системы. – 2018. – С.254-256.
Пугачева, Е. А. Методы и технологии тестирования / Е. А. Пугачева // Актуальные вопросы современной науки. – 2018. – С.23-28.
Рыбалко, М. А. Тестирование программного обеспечения, методы тестирования / М. А. Рыбалко // Информационное общество: современное состояние и перспективы развития. – 2017. – С.320-322.
Скроботов, А. А. Тестирование и контроль качества программного обеспечения / А. А. Скороботов // Прогрессивные технологии и экономика в машиностроении. – 2019. – С.160-162.
Степенко, А. Ю. Современные методы тестирования программного обеспечения / А. Ю. Степенко // Информационно-телекоммуникационные системы и технологии. – 2017. – С.266-268.
Темичев, А. А. Аналитический обзор средств автоматизации тестирования производительности применительно к системам мониторинга / А. А. Темичев // Информационные технологии, 2018. – №15. – С.40-45.
Шакирова, А. И. Сокращение времени тестирования программного обеспечения / А. И. Шакирова // Современные наукоемкие технологии. – 2019. - №7. – С.104-109.
References:
1. Zolotukhina, E. B. Review of software testing methods / E. B. Zolotukhina / / Alley of science. - 2018. - №6. - P. 10-18.
2. karakhanova, A. A. Analysis of software testing methods / A. A. karakhanova // synergy of Sciences. - 2019. - №41. - Pp. 271-279.
3. Openkin, D. Yu. Analysis of software testing methods / D. Yu. Openkin / / control Systems, technical systems. - 2018. - P. 254-256.
4. Pugacheva E. A. Methods and technologies of testing / E. A. Pugacheva // Topical issues of modern science, 2018, Pp. 23-28.
5. Rybalko, M. A. software Testing, testing methods / M. A. Rybalko / / Information society: current state and prospects of development. - 2017. - P. 320-322.
6. Skrobotov, A. A. Testing and quality control of software / A. A. Skorobotov // Progressive technologies and Economics in mechanical engineering. - 2019. - P. 160-162.
7. Stepenko, A. Yu. Modern methods of software testing / A. Yu. Stepenko / / Information and telecommunication systems and technologies. - 2017. - Pp. 266-268.
8. Temichev, A. A. Analytical review of performance testing automation tools in relation to monitoring systems / A. A. Temichev / / Information technologies, 2018. - no. 15. - Pp. 40-45.
9. Shakirova, A. I. Reducing software testing time / A. I. Shakirova // Modern science-intensive technologies. - 2019. - №7. - P. 104-109.