Different Mathematical Models for Entropy in Information Theory
Bilgi Kuramındaki Entropi Kavramıyla İlgili Farklı Matematiksel Modeller

Faruk BULUT [1]

125 256

Entropy is a metric that measures statically irregularity and randomness in a given certain dataset. The calculated entropy value has a positive real number starting from 0. The entropy value is also directly proportional to the increase of the irregularity in the dataset. In numerous fields including statistics, mathematics, and information theory it has been used widely with an aggregated formula of sigma symbol, logarithm and probability in mathematics. In this study, from different perspectives some new formulas and inferences are proposed that gives the same entropy result. The same entropi results, on the experiments, have been taken over the UCI benchmark datasets. 

Entropi, belirli bir veri kümesindeki düzensizliği ve dağınıklığı ölçen bir istatistiksel metriktir. Hesaplanan entropi değeri 0’dan başlayan pozitif bir reel değere sahiptir. Veri kümesindeki düzensizliğin artması ile doğru orantılı olarak entropi değeri de artmaktadır. İstatistik, matematik ve bilgi kuramı dâhil birçok alanda yaygın bir şekilde kullanılan entropi formülünde matematikteki toplam sembolü, logaritma ve olasılık hesaplamaları vardır. Bu çalışmada entropi formülüne farklı açılardan bakarak aynı sonucu veren yeni formüller ve çıkarımlar ile farklı matematiksel modeller türetilmiştir. UCI veri setleri üzerinde yapılan deneysel uygulamalarda da aynı entropi değerleri elde edilmiştir. 

  • [1] Balian, R. (2004). Entropy, a protean concept. In Poincaré Seminar 2003 (pp. 119-144). Birkhäuser Basel.
  • [2] Shannon, C. E. (1949). Communication theory of secrecy systems. Bell Labs Technical Journal, 28(4), 656-715.
  • [3] BULUT, F. (2016). Huffman Algoritmasıyla Kayıpsız Hızlı Metin Sıkıştırma. El-Cezeri Journal of Science and Engineering, 3(2), 287-296.
  • [4] Mu, Y., Liu, X., Yang, Z., and Liu, X. (2017). A parallel C4. 5 decision tree algorithm based on MapReduce. Concurrency and Computation: Practice and Experience, 29(8).
  • [5] Gray R. M., (1990). Entropy and information. In Entropy and Information Theory, Publisher: Springer, (pp. 21-55) New York, ISBN-13: 978-1441979698.
  • [6] Srinivas, D. S., & Kumar, M. A. (2013). Attribute And Information Gain Based Feature Selection Technique For Cluster Ensemble: Hybrid Majority Voting Based Variable Importance Measure. IJITR, 1(6), 607-610.
  • [7] Bulut, F. (2016). AdaBoost ile Kalp Krizi Risk Tespiti, Celal Bayar Üniversitesi Fen Bilimleri Dergi, 12(3), 459-472.
  • [8] Tosun, S. (2015). Sınıflandırmada yapay sinir ağları ve karar ağaçları karşılaştırması: Öğrenci başarıları üzerine bir uygulama (Doctoral dissertation, Fen Bilimleri Enstitüsü), İTÜ.
  • [9] Cernekova, Z., Pitas, I., & Nikou, C. (2006). Information theory-based shot cut/fade detection and video summarization. IEEE Transactions on circuits and systems for video technology, 16(1), 82-91.
  • [10] El Gamal, A., and Kim, Y. H. (2011). Network information theory. Cambridge university press.
  • [11] Anderson, D. R. (2008). Information Theory and Entropy (pp. 51-82). Springer, ISBN-13: 978-1441979698, New York.
  • [12] Çakır, S. "Bütünleşik Bulanık Shannon Entropi-Bulanık Veri Zarflama Analizi Yöntemiyle Teknoloji Firmalarında Etkinlik Ölçümü." Karadeniz Teknik Üniversitesi, Doktora Tezi (2015).
Konular Bilgisayar Mühendisliği ve Bilişim
Dergi Bölümü Derleme
Yazarlar

Yazar: Faruk BULUT (Sorumlu Yazar)
Ülke: Turkey


Bibtex @araştırma makalesi { bilgesci335439, journal = {Bilge International Journal of Science and Technology Research}, issn = {2587-0742}, eissn = {2587-1749}, address = {Kutbilge Akademisyenler Derneği}, year = {}, volume = {1}, pages = {167 - 174}, doi = {}, title = {Different Mathematical Models for Entropy in Information Theory}, key = {cite}, author = {BULUT, Faruk} }
APA BULUT, F . (). Different Mathematical Models for Entropy in Information Theory. Bilge International Journal of Science and Technology Research, 1 (2), 167-174. Retrieved from http://dergipark.gov.tr/bilgesci/issue/32353/335439
MLA BULUT, F . "Different Mathematical Models for Entropy in Information Theory". Bilge International Journal of Science and Technology Research 1 (): 167-174 <http://dergipark.gov.tr/bilgesci/issue/32353/335439>
Chicago BULUT, F . "Different Mathematical Models for Entropy in Information Theory". Bilge International Journal of Science and Technology Research 1 (): 167-174
RIS TY - JOUR T1 - Different Mathematical Models for Entropy in Information Theory AU - Faruk BULUT Y1 - 2018 PY - 2018 N1 - DO - T2 - Bilge International Journal of Science and Technology Research JF - Journal JO - JOR SP - 167 EP - 174 VL - 1 IS - 2 SN - 2587-0742-2587-1749 M3 - UR - Y2 - 2017 ER -
EndNote %0 Bilge International Journal of Science and Technology Research Different Mathematical Models for Entropy in Information Theory %A Faruk BULUT %T Different Mathematical Models for Entropy in Information Theory %D 2018 %J Bilge International Journal of Science and Technology Research %P 2587-0742-2587-1749 %V 1 %N 2 %R %U
ISNAD BULUT, Faruk . "Bilgi Kuramındaki Entropi Kavramıyla İlgili Farklı Matematiksel Modeller". Bilge International Journal of Science and Technology Research 1 / 2 167-174.