Программная реализация критерия Эппса-Палли в среде моделирования Matlab

Цель работы. Системы моделирования и платформы программирования дают широкие возможности по использованию статистических инструментов в научно-исследовательской деятельности. Так как нормальное распределение является одним из наиболее часто встречающихся законов распределения, то критерий проверки выборки на нормальность имеет высокую востребованность среди инструментов статистического оценивания, среди которых критерий Эппса-Палли имеет статус одного из наиболее мощных. тестов для проверки отклонения распределения от нормального. Есть ряд реализаций данного теста на языках R и Python. Однако в одной из наиболее популярных систем моделирования Matlab данный тест не реализован. Таким образом, цель данного исследования разработать программную реализацию критерия Эппса-Палли в среде Matlab и проверить корректность проводимых расчетов.

Материалы и методы. Вычисление статистики Эппса-Палли реализовано двумя методами – классическим, с помощью циклов, и матрично-векторным – с помощью операций линейной алгебры. Классический метод требует вычисления промежуточных величин, необходимых для получения статистики критерия, с помощью двух независимых циклов, причем второй цикл является двойным, в котором один цикл вложен в другой. Матрично-векторный метод требует меньше строк кода за счет выполнения расчетов с помощью операций линейной алгебры над матрицами и векторами. Критические значения статистики для объема выборки от 8 до 1000 элементов получены с помощью двухмерной линейной интерполяции табличных значений. Для выборки свыше 1000 элементов использована аппроксимация бета-функцией III рода.

Результаты. Оценка вычислительной эффективности способов показала, что циклический подход примерно в три раза превосходит матрично-векторный по показателю затрачиваемого времени, что предположительно связано с обработкой незначащих элементов в треугольных матрицах при выполнении покомпонентных операций. Корректность программной реализации теста Эппса-Палли проверена на нескольких примерах, которые подтвердили соответствие рассчитываемых значений статистики критерия, а также критических значений статистики, известным данным. Проведена статистическая оценка критерия по эмпирическим значениям ошибки первого рода. Получено соответствие значений ошибок задаваемым уровням значимости. Проведены сравнительные оценки критерия Эппса-Палли с критериями Андерса-Дарлинга и Шапиро-Уилка по показателю эмпирической мощности критерия. Результаты оценок табулированы.

Программная реализация критерия Эппса-Палли опубликована на Интернет-ресурсе MATLAB Central и доступна для свободного использования.

Заключение. Разработанная программная реализация критерия Эппса-Палли является новым исследовательским инструментом, ранее отсутствовавшим в среде моделирования Matlab. Обоснован выбор алгоритма расчета статистики критерия по показателю времени, затрачиваемого на расчеты. Корректность расчетных алгоритмов подтверждается совокупностью выборочных проверок и статистическими оценками, соответствующими известным теоретическим положениям.

1. Гнатюк В.И. Закон оптимального построения техноценозов: Монография. Калининград: Издательство КИЦ «Техноценоз», 2019. 940 с.

2. Murray-Smith D. J. Testing and Validation of Computer Simulation Models. Principles, Methods and Applications. New York: Springer, 2015. 258 p. DOI: 10.1007/978-3-319-15099-4

3. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. 3-е изд. М.: Наука, 1983. 416 с.

4. Кобзарь А.И. Прикладная математическая статистика. Для инженеров и научных работников. М.: Физматлит, 2006. 816 с.

5. Волчихин В.И., Иванов А.И., Безяев А.В., Куприянов Е.Н. Нейросетевой анализ нормальности малых выборок биометрических данных с использованием хи-квадрат критерия и критериев Андерсона-Дарлинга. // Инженерные технологии и системы. 2019. Т. 29. № 2. С. 205–217. DOI: 10.15507.2658-4123.029.201902.205-217.

6. Ivanov A.I., Vjatchanin S.E., Malygina E.A., Lukin V.S. Precision statistics: neuroet networking of chi-square test and Shapiro-Wilk test in the analysis of small selections of biometric data. // Надежность и качество сложных систем. 2019. № 2(26). P. 27–34. DOI: 10.21685/2307-4205-2019-2-4.

7. Ebner B., Henze N. Bahadur efficiencies of the Epps–Pulley test for normality. // Journal of Mathematical Sciences. 2021. № 273. P. 861–870. DOI: 10.1007/s10958-023-06547-2.

8. Лемешко Б.Ю. Критерии проверки отклонения распределения от нормального закона. Руководство по применению. Монография. Новосибирск: НГТУ, 2014. 192 с.

9. Лемешко Б.Ю. Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход. Новосибирск: НГТУ, 2011. 888 с.

10. Razali N.M., Wah Y.B. Power comparisons of Shapiro-Wilk, Kolmogorov-Smirnov, Lilliefors and Anderson-Darling tests. // Journal of Statistical Modeling and Analytics. 2011. Vol. 2. № 1. P. 21–33.

11. Statistics and Machine Learning Toolbox User’s Guide. [Электронный ресурс]. Режим доступа: https://www.mathworks.com/help/pdf_doc/stats/stats.pdf. (Дата обращения 15.12.2023).

12. BenSaida A. Shapiro-Wilk and Shapiro-Francia normality tests. [Электронный ресурс]. Режим доступа: https://www.mathworks.com/matlabcentral/fileexchange/13964-shapiro-wilkand-shapiro-francia-normality-tests. (Дата обращения: 15.01.2024).

13. Назаров А.А. Проверка нормальности распределения с использованием критерия Эппса-Палли средствами Python. [Электронный ресурс]. Режим доступа: https://github.com/AANazarov/MyModulePython.git. (Дата обращения: 15.01.2024).

14. Kelly D.E. Oceanographics Analysis with R. New York: Springer-Verlag, 2018. 280 p. DOI: 10.1007/978-1-4939-8844-0.

15. The R project for Statistical Computing. [Электронный ресурс]. Режим доступа: https://www.r-project.org. (Дата обращения: 15.01.2024).

16. ГОСТ Р ИСО 5479–2002. Проверка отклонения распределения вероятностей от нормального распределения. М.: Госстандарт России, 2002.

17. International Standard ISO 5479-1997. Statistical interpretation of data – Test for departure from the normal Distribution. Geneva: International Standardization Organization, 1997.

18. Altar R.R., Samanta D., Konar D., Bhattacharryya S. Software Source Code: Statistical Modeling. Berlin: De Grunter, 2021. 358 p. DOI: 10.1515/9783110703399.

19. Tipikin A.A. Epps-Pulley test for departure from normal distribution. [Электронный ресурс]. Режим доступа: https://www.mathworks.com/matlabcentral/fileexchange/158036-eptest. (Дата обращения: 15.01.2024).

20. Stigler S.M. Do robust estimators work with real data? // The Annals of Statistics. 1977. Vol. 5. № 6. P. 1055–1098. DOI: 10.1214/aos/1176343997.

21. Бессонов А.А. Искусственный интеллект и математическая статистика в криминалистическом изучении преступлений. Монография. М.: Проспект, 2021. 816 с.

22. Karamandis M., Beutler F. Ensemble slice sampling. // Statistics and Computing. 2021. Vol. 31, 61. P. 1–18. DOI: 10.1007/s11222-021-10038-2.