Abstract
The performance of deep learning models depends heavily on hyperparameter selection. In this study, hyperparameters of convolutional neural networks such as learning rate, number of filters, depth and dropout rate were determined with the grey wolf optimizer. The method was compared with grid search, random search and particle swarm optimization on CIFAR-10 and Fashion-MNIST. The grey wolf optimizer achieved similar or higher accuracy with 58% fewer evaluations than grid search.
Evrişimli Sinir Ağlarının Hiperparametre Optimizasyonunda Gri Kurt Algoritmasının Kullanımı
Derin öğrenme modellerinin başarımı büyük ölçüde hiperparametre seçimine bağlıdır. Bu çalışmada evrişimli sinir ağlarının öğrenme oranı, filtre sayısı, katman derinliği ve bırakma oranı gibi hiperparametreleri gri kurt optimizasyonu ile belirlenmiştir. Yöntem; ızgara arama, rastgele arama ve parçacık sürü optimizasyonu ile CIFAR-10 ve Fashion-MNIST veri kümelerinde karşılaştırılmıştır. Gri kurt algoritması ızgara aramaya göre %58 daha az değerlendirmeyle benzer veya daha yüksek doğruluk elde etmiştir.
Full Text
Declarations
- Ethics Approval
- Bu çalışma etik kurul onayı gerektirmemektedir.
- Conflict of Interest
- Yazarlar herhangi bir çıkar çatışması olmadığını beyan eder.
- Funding
- Bu çalışma Selçuk Üniversitesi BAP Koordinatörlüğü tarafından desteklenmiştir (Proje No: 24006).
References 5
- Mirjalili, S., Mirjalili, S. M., & Lewis, A. (2014). Grey wolf optimizer. Advances in Engineering Software, 69, 46–61. https://doi.org/10.1016/j.advengsoft.2013.12.007
- Kennedy, J., & Eberhart, R. (1995). Particle swarm optimization. In Proceedings of ICNN'95 – International Conference on Neural Networks (Vol. 4, pp. 1942–1948). https://doi.org/10.1109/ICNN.1995.488968
- Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20(3), 273–297. https://doi.org/10.1007/BF00994018
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. In International Conference on Learning Representations.
- Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., et al. (2011). Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, 12, 2825–2830.
How to Cite
License
© 2025 Mehmet Ali Durmaz, Deniz Çelik. This article is distributed under the terms of the CC BY 4.0 license, which permits unrestricted use, distribution and reproduction in any medium, provided the original work is properly cited. License text