ენტროპი

ა
 ენტროპია -
განმარტება

ენტროპია არის კონცეფცია, რომელიც

წარმოიშვა თერმოდინამიკაში, მაგრამ ფართოდ
გამოიყენება სხვადასხვა სფეროში, მათ შორის
ინფორმაციის თეორიაში..

ინფორმაციის თეორიის კონტექსტში,

ენტროპია არის გაურკვევლობის ან
შემთხვევითობის რაოდენობრივი საზომი
მონაცემთა ერთობლიობაში ან
ალბათობის განაწილებაში
• ინფორმაციის თეორიაში, ენტროპია ზომავს ინფორმაციის ან სიურპრიზის საშუალო
რაოდენობას, რომელიც შეიცავს შეტყობინებას ან მონაცემთა წყაროს. ის რაოდენობრივად
ასახავს რამდენად „გაკვირვებულები“ ​ვართ, როდესაც ვიღებთ კონკრეტულ
შეტყობინებას ან ვაკვირდებით კონკრეტულ შედეგს. მაღალი ენტროპია მიუთითებს
გაურკვევლობის ან შემთხვევითობის მაღალ დონეზე, ხოლო დაბალი ენტროპია
მიუთითებს პროგნოზირებადობის ან რიგის მაღალ დონეზე.
 ინფორმაცია
ინფორმაციის საზომი ერთეული არის ბაიტი, რომელიც შედგება (8) ბიტებისგან. რაც შეეხება
წინსართს „კილო“ ის SI (ერთეულთა საერთაშორისო სისტემა) გამოიყენება როგორც ათასის
აღმნიშვნელი. მაგალითად, სიგრძის (უმცირესი) საზომი ერთეული არის მეტრი, ხოლო 1 000 (10
ხარისხად 3) მეტრი უდრის 1 კილომეტრს.

ასევე ინფორმაციის გასაზომად სხვა სიტუაციებში  იყენებენ მულტიპლიქსატორებს კილო, მეგა,

გიგა და ა.შ. როგორც ეს მიღებულია ერთეულთა საერთაშორისო სისტემაში (SI). ანუ 1 000 ის
ჯერადებად. მაგალითად 500 გიგაბაიტიანი ვინჩესტერი აღნიშნავს 500 000 000 000 ბაიტის
ტევადობის ვინჩესტერს. ან 1გბიტ/წმ ინტერნეტის შეერთება აღნიშნავს რომ თქვენ ინტერნეტი
მოგეწოდებათ 1 000 000 000 ბიტი/წამში სიჩქარით. ორობითი წინსართისგან განსხვავებით ამ
შემთხვევაში გიგა აღნიშნავს 1 000 (10 ხარისხად 3) და არა 1024.
მათემატიკურად, დისკრეტული შემთხვევითი X ცვლადის
ენტროპია ალბათობის მასის ფუნქციით P(X) გამოითვლება
ფორმულის გამოყენებით: H(X) = -∑[P(x) * log2(P(x))] სადაც
ჯამი აღებულია X-ის x-ის ყველა შესაძლო მნიშვნელობებზე. ამ
ფორმულაში log2 აღნიშნავს ლოგარითმის საფუძველს 2.
შედეგად მიღებული ენტროპიის მნიშვნელობა იზომება
ბიტებში. ენტროპიის მნიშვნელობა შეიძლება განიმარტოს,
როგორც ბიტების მინიმალური რაოდენობა, რომელიც
საჭიროა, საშუალოდ, X შემთხვევითი ცვლადის თითოეული
შედეგის წარმოსადგენად.
ენტროპიას, როგორც წყაროს ინფორმაციის შინაარსის რაოდენობრივ საზომს აქვს შემდეგი თვისებები:

1) ენტროპია ნულის ტოლია, თუ ერთი შეტყობინება მაინც სანდოა (ანუ აქვს ალბათობა პი = 1)

2) ენტროპიის მნიშვნელობა ყოველთვის მეტია ან ტოლია ნულის, რეალური და შეზღუდული

3) ორი ალტერნატიული მოვლენის მქონე წყაროს ენტროპია შეიძლება განსხვავდებოდეს 0-დან 1-

მდე;

4) ენტროპია არის დანამატი სიდიდე: წყაროს ენტროპია, რომლის გზავნილები შედგება რამდენიმე
სტატისტიკურად დამოუკიდებელი წყაროს შეტყობინებებისგან, უდრის ამ წყაროების ენტროპიების ჯამს;

5) ენტროპია იქნება მაქსიმალური, თუ ყველა შეტყობინება თანაბრად სავარაუდოა

 ენტროპია ასევე წარმოადგენს კოდის მინიმალურ საშუალო სიგრძეს, რომელიც საჭიროა X-ის
შედეგების გადასაცემად ოპტიმალური კოდირების სქემის გამოყენებით. პრაქტიკული
თვალსაზრისით, თუ X-ის ალბათობის განაწილება გადახრილია გარკვეული შედეგებისკენ, ენტროპია
უფრო დაბალი იქნება, რაც მიუთითებს იმაზე, რომ მონაცემები უფრო პროგნოზირებადია. პირიქით,
თუ ალბათობის განაწილება უფრო ერთგვაროვანი ან გავრცელებულია, ენტროპია უფრო მაღალი
იქნება, რაც მიუთითებს გაურკვევლობის უფრო მაღალ ხარისხზე.
შეჯამება
ენტროპია არის ფუნდამენტური
კონცეფცია ინფორმაციის თეორიაში
და აქვს აპლიკაციები სხვადასხვა
სფეროში, მათ შორის მონაცემთა
შეკუმშვის, კრიპტოგრაფიის,
ნიმუშის ამოცნობისა და მანქანური
სწავლების ჩათვლით. ის
უზრუნველყოფს რაოდენობრივ
ზომას სისტემაში ან მონაცემთა
ბაზაში არსებული ინფორმაციისა და
გაურკვევლობის რაოდენობის
აღსაწერად.
მადლობა
ყურადღებისთვის

❤️❤️❤️❤️❤️❤️