60. Măsurarea informațiilor – abordări probabilistice și alfabetice. Formulele lui Hartley și Shannon. Exemplu înDOMNIȘOARĂExCuel.

Din punctul de vedere al informațiilor ca incertitudine eliminată, cantitatea de informațiiîntr-un mesaj despre un eveniment depinde de probabilitatea producerii acestui eveniment.

O abordare științifică a evaluării mesajelor a fost propusă încă din 1928 de R. Hartley. Calculat Formula lui Hartley pentru evenimente echiprobabile are forma:

eu = Buturuga 2 Nsau 2eu = N,

unde N este numărul la fel de probabil evenimente (număr de opțiuni posibile), I - cantitatea de informații.

Dacă N = 2 (alegerea dintre două posibilități), atunci I = 1 bit.

Exemplul 1. Folosind formula lui Hartley pentru a calcula cantitatea de informații. Câte biți de informații transmite mesajul?

trenul ajunge pe una din cele 8 linii?

Formula lui Hartley: eu = Buturuga 2 N,

unde N este numărul de rezultate la fel de probabile ale evenimentului despre care despre care vorbim in mesaj,

I – cantitatea de informații din mesaj.

I = log 2 8 = 3(biți) Răspuns: 3 biți.

Formula Hartley modificată pentru evenimente neechivalente.Întrucât apariția fiecăruia dintre cele N evenimente posibile are aceeași probabilitate

p = 1 / N, Acea N = 1 / p iar formula arată ca

I = log 2 N= log 2 (1/p) = - log 2 p

Relația cantitativă dintre probabilitatea unui eveniment (p) și cantitatea de informații din mesajul despre acesta (I) este exprimată prin formula:

eu = Buturuga 2 (1/ p)

Probabilitatea unui eveniment se calculează folosind formula p= K/ N, K – o valoare care arată de câte ori a avut loc evenimentul care ne interesează; N este numărul total de rezultate și evenimente posibile. Dacă probabilitatea scade, cantitatea de informații crește.

Exemplul 2. Sunt 30 de persoane în clasă. Pentru testul de matematică am primit 6 A, 15 B, 8 C și 1 D. Câte informații conține mesajul că Ivanov a primit un „B”?

Răspuns: 1 bit.

Folosind formula lui Shannon. Cazul general al calculării cantității de informații dintr-un mesaj despre unul dintre N evenimente, dar inegal probabile. Această abordare a fost propusă de K. Shannon în 1948.

Unități de informații de bază:

eumier= -

Sens eumier p i= 1 / N.

Exemplul 3. Câte biți de informații poartă un mesaj „far” generat aleatoriu, dacă, în medie, pentru fiecare mie de litere din textele rusești, litera „a” apare de 200 de ori, litera „f” - de 2 ori, litera „r” - 40 ori.

Vom presupune că probabilitatea ca un simbol să apară într-un mesaj coincide cu frecvența apariției acestuia în texte. Prin urmare, litera „a” apare cu frecventa medie 200/1000=0,2; Probabilitatea ca litera „a” să apară în text (p a) poate fi considerată aproximativ egală cu 0,2;

litera „f” apare cu o frecvență de 2/1000=0,002; litera „p” - cu o frecvență de 40/1000=0,04;

În mod similar, p p = 0,04, p f = 0,002. În continuare procedăm conform lui K. Shannon. Luăm logaritmul binar al valorii 0,2 și numim ceea ce obținem cantitatea de informații transmise de o singură literă „a” în textul în cauză. Vom efectua exact aceeași operațiune pentru fiecare literă. Atunci cantitatea de informații intrinseci purtate de o literă este egală cu Buturuga 2 1/ p i = - Buturuga 2 p i, Este mai convenabil să folosiți cantitatea medie de informații per caracter al alfabetului ca măsură a cantității de informații.

eumier= -

Sens eumier atinge un maxim pentru evenimente la fel de probabile, adică atunci când toți p i sunt egali

p i= 1 / N.

În acest caz, formula lui Shannon se transformă în formula lui Hartley.

I = M*I medie =4*(-(0,002*log 2 0,002+0,2* log 2 0,2+0,04* log 2 0,04+0,2* log 2 0,2))= 4*(-(0,002*(-8,967)+ 0,2*(-2,322)+0,04*(-4,644)+0,2*(-2,322)))=4*(-(-0,018-0 .46-0,19-0,46))=4*1,1325=4,53

Răspuns: 4,53 biți

Abordare alfabetică pentru măsurarea informațiilor

Abordarea alfabetică este folosită în tehnologie; în acest caz, cantitatea de informații nu depinde de conținut, ci depinde de puterea alfabetului și de numărul de caractere din text.

Pentru codificarea ASCII – puterea alfabetului=256

I=log 2 256=8(biți); Când se codifică informații despre caractere în coduri, fiecare caracter, inclusiv spațiile și semnele de punctuație, este codificat cu 1 octet (8 biți).

Unitățile de măsură ale informațiilor în tehnologia calculatoarelor

1 bit (abordare tehnică)	unitate minimă de informație	cantitatea de informație este măsurată doar într-un număr întreg de biți

1 KB (kilooctet)	2 10 octeți = 1024 octeți	~ 1 mie de octeți
1 MB (megaoctet)	2 10 KB = 2 20 octeți	~1 milion de octeți
1 GB (gigaoctet)	2 10 MB = 2 30 octeți	~1 miliard de octeți

3. Tehnologii de transmitere a datelor. Ethernet, Token Ring, ISDN, X.25, Frame Relay.
4. Dispozitive gateway: repetoare, poduri, routere, gateway-uri. Metode de comutare și rutare. Modalități de îmbunătățire a performanței rețelei
5. Rețele peer-to-peer și servere: caracteristici comparative. Principalele tipuri de servere specializate.
6. Baza tehnologică a Internetului. Sistem de adresare (adrese IP, nume de domenii, sistem DNS). Protocoale de comunicare de bază în rețea.
7. Tehnologii de bază ale utilizatorilor pentru lucrul pe Internet. WWW, FTP, TELNET, E-MAIL. Căutarea de informații pe Internet.
9. Baze de date: date, model de date, bază de date, sistem de management al bazelor de date, sistem informațional. Modele de date. Model de date relaționale.
12. Proiectarea sistemelor informatice. Structura și modelele ciclului de viață.
13. Modelarea și prezentarea structurii întreprinderii. Diagramele IDEF0.
14. Modelarea și prezentarea fluxurilor de date. Diagrame DFD.
16. Sisteme expert (ES): concept, scop, arhitectură, caracteristici distinctive. Clasificarea ES. Etapele dezvoltării ES.
17. Baze de cunoștințe ale sistemelor expert. Metode de reprezentare a cunoștințelor: modele logice, reguli de producție, cadre, rețele semantice.
18 Cunoaștere. Tipuri de cunoștințe. Metode de extragere a cunoștințelor: comunicative, textuale.
19 Limbaje de programare, caracteristicile lor (Prolog, Delphi, C++).
20. Limbaje de programare, caracteristicile lor (PHP, Perl, JavaScript).
21. Scopuri, obiective, principii și direcții principale de asigurare a securității informaționale a Federației Ruse. Protecția juridică, organizatorică, inginerească și tehnică a informațiilor.
22. Publicaţii electronice: concept, compunere. Clasificarea EI. Înregistrarea EI.
23. Resurse informaţionale: concept, compoziţie. Resursele informaționale ale statului.
24. Sistemul de operare al unui computer personal ca mijloc de gestionare a resurselor (folosind exemplul OS studiat). Structura și componentele sistemului de operare.
25. Software rău intenționat: clasificări, metode de detectare și eliminare.
26 Structura aplicațiilor web. Protocolul HTTP. Cookie. Funcțiile aplicației web. Protocolul CGI.
27 Asigurarea fiabilității funcționării IS. Tranzacții. sisteme OLTP.
28. Obiective ergonomice și indicatori de calitate ai unui produs software.
31. Managementul informaţiei: concept şi funcţii principale.
33 Standardizarea în domeniul software-ului. Standarde pentru documentarea software-ului.
34. Evaluarea caracteristicilor calitative și cantitative ale sistemelor informaționale. Modele de evaluare a caracteristicilor de fiabilitate ale suportului software și informațional. Concepte de bază, indicatori și metode pentru asigurarea fiabilității sistemelor informaționale.
36. Caracteristici ale implementării programelor inovatoare în domeniul informatizării (caracteristici ale politicii informaţionale în domeniul informatizării, principii de formare a proiectelor şi implementare a SI, managementul proiectelor de informatizare).

Când studiau diverse fenomene și obiecte din lumea înconjurătoare, oamenii au căutat să asocieze numerele cu aceste obiecte și să introducă măsura lor cantitativă. Oamenii au învățat să măsoare distanțe, să cântărească diverse obiecte, să calculeze ariile figurilor și volumele corpurilor. După ce am învățat să măsurăm timpul și durata lui, încă încercăm să-i înțelegem natura. Termometrul a fost inventat cu mulți ani înainte ca oamenii de știință să înțeleagă ce măsoară: aproximativ trei secole au trecut de la inventarea primului termometru până la dezvoltarea termodinamicii. Studiul cantitativ al unui anumit fenomen sau obiect poate fi înaintea studiului său calitativ, iar procesul de formare a conceptului corespunzător poate urma studiul cantitativ.

O situație similară s-a dezvoltat și în ceea ce privește informațiile. R. Hartley în 1928, și apoi K. Shannon în 1948, au propus formule pentru calcularea cantității de informații, dar nu au răspuns niciodată la întrebarea ce este informația. În teoria comunicării, informația apare sub forma unor mesaje diverse: de exemplu, litere sau cifre, ca în telegrafie, sau ca o funcție continuă a timpului, ca în telefonie sau radiodifuziune. În oricare dintre aceste exemple, în cele din urmă sarcina este de a transfera continut semantic vorbirea umană. La rândul său, vorbirea umană poate fi reprezentată în vibrații sonore sau în formă scrisă.

Aceasta este o altă proprietate a acestui tip de informații: capacitatea de a reprezenta același conținut semantic în diferite forme fizice. W. Ashby a fost primul care a atras o atenție deosebită asupra acestui lucru. Reprezentarea informațiilor în diferite forme fizice se numește codificare. Pentru a comunica cu alte persoane, o persoană trebuie să se angajeze în mod constant în codificare, recodificare și decodare. Este evident că informațiile pot fi transmise în cea mai mare parte prin canale de comunicare diverse sisteme codificare.

R. Hartley a fost primul care a introdus metodologia „măsurării cantității de informații” în teoria transferului de informații. În același timp, R. Hartley credea că informațiile pe care urma să le măsoare erau „... un grup de simboluri fizice - cuvinte, puncte, liniuțe etc., care, prin acord general, au o semnificație cunoscută pentru părțile corespunzătoare. .” Astfel, Hartley și-a propus sarcina de a introduce un fel de măsură pentru a măsura informațiile codificate.

Să fie transmisă o succesiune de n caractere a 1 a 2 a 3 a n, fiecare aparținând alfabetului A m care conține m caractere. Care este numărul K al diferitelor variante ale unor astfel de secvențe? Dacă n = 1 (se transmite un caracter), atunci K = m; dacă n=2 (se transmite o succesiune de 2 caractere), atunci K = m*m = m 2 ; în cazul general, pentru o secvență de n caractere obținem

Hartley a propus calcularea cantității de informații conținute într-o astfel de secvență precum logaritmul numărului K la baza 2:

I = Log 2 K, (2.1)

unde K = mn.

Adică, cantitatea de informații conținută într-o secvență de n caractere din alfabetul A m , în conformitate cu formula lui Hartley, este egală cu

I = Log 2 (m n) = n Log 2 m. (2,2)

Observație 1. Hartley a presupus că toate simbolurile alfabetului A m pot apărea cu probabilitate (frecvență) egală oriunde în mesaj. Această condiție este încălcată pentru alfabetele în limbaj natural: de exemplu, nu toate literele alfabetului rus apar în text cu aceeași frecvență.

Observație 2. Orice mesaj de lungime n din alfabetul A m va conține aceeași cantitate de informații. De exemplu, în alfabet (0; 1), mesajele 00111, 11001 și 10101 conțin aceeași cantitate de informații. Aceasta înseamnă că atunci când calculăm cantitatea de informații conținute într-un mesaj, suntem distrași de la conținutul semantic al acestuia. Un mesaj „cu sens” și un mesaj derivat din acesta printr-o permutare arbitrară a simbolurilor vor conține aceeași cantitate de informații.

Exemplu. Un mesaj telegrafic folosește două simboluri - un punct (.) și o liniuță (-), adică alfabetul este format din m = 2 caractere. Apoi, la transmiterea unui caracter (n = 1), cantitatea de informație I = Log 2 2 = 1. Această cantitate a fost luată ca unitate de măsură a cantității de informații și se numește 1 bit (din engleză). unitate binară = pic). Dacă un mesaj telegrafic în alfabet (. ; -) conține n caractere, atunci cantitatea de informații I = n Log 2 2 = n (biți).

Folosind simbolurile 0 și 1, informațiile sunt codificate în computer și atunci când sunt transmise către retele de calculatoare, adică alfabetul este format din două caractere (0; 1); un simbol în acest caz conține și I = Log 2 2 = 1 biți de informație, prin urmare un mesaj cu lungimea n caractere din alfabet (0; 1) în conformitate cu formula lui Hartley (2.2) va conține n biți de informație.

Dacă luăm în considerare transmiterea mesajelor în alfabetul rus, constând din 33 de litere, atunci cantitatea de informații conținută într-un mesaj de n caractere, calculată folosind formula lui Hartley, este egală cu I = n*Log 2 33 » n* 5,0444 biți . Alfabetul englez conține 26 de litere, un caracter conține Log 2 26 » 4,7 biți, deci un mesaj de n caractere, calculat folosind formula lui Hartley, conține n* Log 2 26 » 4,7 *n biți de informații. Cu toate acestea, acest rezultat nu este corect, deoarece nu toate literele apar în text cu aceeași frecvență. În plus, la literele alfabetului trebuie adăugate caractere de separare: spațiu, punct, virgulă etc.

Formula (2.1) seamănă superficial cu formula Boltzmann pentru calcularea entropiei unui sistem cu N microstări la fel de probabile:

S= - k*Ln(W), (2,3)

unde k este constanta lui Boltzmann = 1,38*10 -23, iar W este probabilitatea adoptării spontane a uneia dintre microstările sistemului pe unitatea de timp t = 10 -13 secunde, W = 1/N, adică.

S= -k*Ln(1/N) = k*Ln(N), (2,4)

care este complet în concordanță cu formula (2.1), cu excepția factorului k și a bazei logaritmului. Din cauza acestei asemănări externe, valoarea Log 2 K în teoria informației se mai numește și entropie și este notă cu simbolul H. Entropia informațională este o măsură a incertitudinii stării unei variabile aleatorii ( sistem fizic) cu un număr finit sau numărabil de stări. Valoare aleatoare(s.v.) este o cantitate care, în urma unui experiment sau a unei observații, ia valoare numerica, nu se știe dinainte care dintre ele.

Deci, fie X o variabilă aleatorie care poate lua N valori diferite x 1, x 2, ... x N; dacă toate valorile r.v. X sunt la fel de probabile, atunci entropia (măsura incertitudinii) mărimii X este egală cu:

H(X) = Log 2 N. (2,5)

Cometariu. Dacă o variabilă aleatoare (sistem) poate fi într-o singură stare (N=1), atunci entropia ei este egală cu 0. De fapt, nu mai este o variabilă aleatoare. Cu cât este mai mare numărul de stări posibile la fel de probabile, cu atât este mai mare incertitudinea unui sistem.

Entropia și cantitatea de informații sunt măsurate în aceleași unități - biți.

Definiție. 1 bit este entropia unui sistem cu două stări la fel de probabile.

Fie sistemul X în două stări x1 și x2 cu probabilitate egală, i.e. N = 2; atunci entropia sa H(X) = Log 2 2 = 1 bit. Un exemplu de astfel de sistem este dat de o monedă, atunci când este aruncată, apar fie capete (x1), fie cozi (x2). Dacă moneda este „corectă”, atunci probabilitatea de a obține cap sau cozi este aceeași și egală cu 1/2.

Să dăm o altă definiție a unității de măsură a informațiilor.

Definiție. Răspunsul la o întrebare de orice natură (orice caracter) conține 1 bit de informații dacă poate fi „da” sau „nu” cu probabilitate egală.

Exemplu. Joc de „gol-gros”. Ascunzi un obiect mic într-o mână și îi ceri partenerului să ghicească în ce mână l-ai ascuns. Te întreabă „în mâna stângă?” (sau pur și simplu alege o mână: stânga sau dreapta). Răspunzi „da” dacă a ghicit bine, sau „nu” în caz contrar. Pentru orice răspuns, partenerul primește 1 bit de informații, iar incertitudinea situației este complet eliminată.

Formula lui Hartley poate fi folosită la rezolvarea problemelor de determinare a elementului selectat dintr-o mulțime dată. Acest rezultat poate fi formulat ca următoarea regulă.

Dacă într-o mulțime dată M, formată din N elemente, este selectat un element x, despre care nu se știe altceva, atunci pentru a determina acest element este necesar să se obțină Log 2 N biți de informație.

Să luăm în considerare câteva probleme folosind formula lui Hartley.

Problema 1. Cineva s-a gândit la un număr natural în intervalul de la 1 la 32. Care este numărul minim de întrebări care trebuie puse pentru a garantat ghiciți numărul dorit (evidențiat). Răspunsurile pot fi doar „da” sau „nu”.

Un comentariu. Puteți încerca să ghiciți numărul dorit printr-o simplă căutare. Dacă ai noroc, va trebui să pui doar o singură întrebare, dar în cel mai rău caz, va trebui să pui 31 de întrebări. În sarcina propusă, trebuie să determinați numărul minim de întrebări cu care vi se garantează că veți determina numărul dorit.

Soluţie. Folosind formula lui Hartley, puteți calcula cantitatea de informații care trebuie obținută pentru a determina elementul selectat x din mulțimea de numere întregi (1,2,3 32). Pentru a face acest lucru, trebuie să obțineți H = Log 2 32 = 5 biți de informații. Întrebările trebuie puse în așa fel încât răspunsurile la ele să fie la fel de probabile. Apoi, răspunsul la fiecare astfel de întrebare va aduce 1 bit de informații. De exemplu, puteți împărți numerele în două grupuri egale de la 1 la 16 și de la 17 la 32 și puteți întreba în ce grup se află numărul dorit. În continuare, ar trebui să faceți același lucru cu grupul selectat, care conține deja doar 16 numere etc. Să ne gândim, de exemplu, la numărul 7.

Întrebarea nr. 1: Numărul dorit aparține setului (17; 32)? Răspunsul „nu” vă oferă 1 bit de informații. Acum știm că numărul aparține mulțimii (1; 16).

Întrebarea nr. 2: Numărul conceput aparține mulțimii (1; 8)? Răspunsul „da” vă aduce încă o informație. Știm acum că numărul aparține mulțimii (1; 8).

Întrebarea nr. 3: Numărul conceput aparține mulțimii (1; 4)? Răspunsul „nu” vă aduce încă o informație. Acum știm că numărul aparține mulțimii (5; 8).

Întrebarea nr. 4: Numărul conceput aparține mulțimii (7; 8)? Răspunsul „da” vă aduce încă o informație. Acum știm că numărul aparține mulțimii (7; 8).

Întrebarea nr. 5: Numărul dorit este egal cu 8? Răspunsul „nu” vă aduce încă o informație. Știm acum că numărul dorit este 7. Problema este rezolvată. Au fost puse cinci întrebări, au fost primite 5 biți de informații ca răspuns și a fost determinat numărul dorit. ‚

Problema 2. (Problemă legată de o monedă falsă). Există 27 de monede, dintre care 26 sunt reale și una este falsă. Care este numărul minim de cântăriri pe o cântar cu pârghie pentru care o monedă falsă din 27 poate fi identificată în mod fiabil, folosindu-se de faptul că moneda falsă este mai ușoară decât cea reală?

Cântarul cu pârghie are două căni și cu ajutorul lor poți determina doar dacă conținutul cupelor este același ca greutate, iar dacă nu, atunci conținutul cărei cupe este mai greu.

Soluţie. Aceasta este o sarcină de identificare a unui element selectat din 27. Folosind formula lui Hartley, putem determina imediat cantitatea de informații care trebuie obținută pentru a identifica o monedă contrafăcută: este egal cu I = Log 2 27 = Log 2 (3 3) = 3 Log 2 3 biți. Rețineți că, fără a cunoaște încă strategia de cântărire, putem spune câte informații trebuie să obținem pentru a rezolva problema.

Dacă puneți un număr egal de monede pe cântar, atunci sunt posibile trei rezultate la fel de probabile:

1. Cupa stângă este mai grea decât cea dreaptă (L > R);

2. Cupa stângă este mai ușoară decât cea dreaptă (L< П);

3. Cupa stângă este în echilibru cu cea dreaptă (L = R);

Sistemul „cântar cu pârghie” poate fi în trei stări la fel de probabile, astfel încât o cântărire oferă Log 2 3 biți de informații. În total, pentru a rezolva problema trebuie să obțineți I = 3 Log 2 3 biți de informații, ceea ce înseamnă că trebuie să faceți trei cântăriri pentru a determina o monedă falsă. Cunoaștem deja numărul minim de cântăriri, dar nu știm încă cum trebuie efectuate. Strategia ar trebui să fie astfel încât fiecare cântărire să dea suma maxima informație. Să împărțim toate monedele în trei grămezi egale A, B și C, câte 9 bucăți fiecare. O monedă contrafăcută, notată cu litera f, poate fi găsită în oricare dintre cele trei grămezi cu probabilitate egală. Să alegem oricare dintre ele, de exemplu A și B, și să le cântărim.

Există trei rezultate posibile:

1) A este mai greu decât B (A > B); înseamnă f Î B;

2) A este mai ușor decât B (A< B); значит f Î A;

3) A este în echilibru cu B (A = B); înseamnă f Î C.

Pentru orice rezultat, vom determina în ce grămadă se află moneda falsă f, dar în această grămadă vor fi doar 9 monede. Împărțiți-l în trei grămezi egale A1, B1, C1, câte 3 monede fiecare. Să alegem oricare două și să le cântărim. Ca și în pasul anterior, vom determina mormanul de monede în care se află moneda falsă, dar acum teancul este format din doar trei monede. Să alegem oricare două monede și să le cântărim. Aceasta va fi ultima, a treia cântărire, după care vom găsi moneda contrafăcută.

Problema 3. Fără a folosi un calculator, estimați la un bit entropia unui sistem care ar putea fi în 50 de stări cu probabilitate egală.

Soluţie. Folosind formula lui Hartley, H = Log 2 50. Să evaluăm această expresie.

Evident 32< 50 < 64; логарифмируем это неравенство à Log 2 32 < Log 2 50 < Log 2 64 à 5 < Log 2 50 < 6. Энтропия системы с точностью до 1 бита 5 < H < 6 . ‚

Sarcina 4. Se știe că entropia sistemului este de 7 biți. Determinați numărul de stări ale acestui sistem dacă se știe că toate sunt la fel de probabile.

Soluţie. Să notăm cu N numărul de stări ale sistemului. Deoarece toate stările sunt la fel de probabile, atunci H = Log 2 N à N = 2 H, adică. N = 2 7 = 128.

Această formulă, ca și formula lui Hartley, este folosită în informatică pentru a calcula cantitatea totală de informații la diferite probabilități.

Un exemplu de diverse probabilități inegale este ieșirea oamenilor din cazarmă dintr-o unitate militară. Un soldat, un ofițer și chiar un general pot părăsi cazarma. Dar repartizarea soldaților, ofițerilor și generalilor în cazarmă este diferită, ceea ce este evident, pentru că vor fi cei mai mulți soldați, apoi ofițeri la număr, iar cel mai rar tip vor fi generalii. Deoarece probabilitățile nu sunt egale pentru toate cele trei tipuri de militari, pentru a calcula câte informații va lua un astfel de eveniment, folosim formula lui Shannon.

Pentru alte evenimente la fel de probabile, cum ar fi aruncarea unei monede (probabilitatea ca cap sau cozi să apară este aceeași - 50%), se folosește formula lui Hartley.

Acum, să ne uităm la aplicarea acestei formule folosind un exemplu specific:

Ce mesaj conține cele mai puține informații (Număr în biți):

Vasily a mâncat 6 dulciuri, dintre care 2 au fost arpaș.
Există 10 foldere pe computer, fișierul necesar găsit în folderul 9.
Baba Luda a facut 4 placinte cu carne si 4 placinte cu varza. Grigore a mâncat 2 plăcinte.
Africa are 200 de zile de vreme uscată și 165 de zile de ploaie musonica. africanul vâna 40 de zile pe an.

În această problemă, să fim atenți la faptul că opțiunile 1, 2 și 3 sunt ușor de numărat, deoarece evenimentele sunt la fel de probabile. Și pentru asta vom folosi formula lui Hartley I = log 2 N(Fig. 1) Dar cu punctul 4 unde este clar că distribuția zilelor nu este uniformă (preponderența spre vreme uscată), ce ar trebui să facem atunci în acest caz? Pentru astfel de evenimente, se utilizează formula lui Shannon sau entropia informațională: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . . + p N log 2 p N),(Fig.3)

FORMULA PENTRU CANTITATEA DE INFORMAȚII (FORMULA HARTLEY, FIG. 1)

în care:

I - cantitatea de informații
p este probabilitatea ca acest eveniment să se întâmple

Evenimentele care ne interesează în problema noastră sunt

Au fost două pădure din șase (2/6)
A existat un folder în care a fost găsit fișierul necesar în raport cu numărul total (1/10)
Au fost opt plăcinte în total, dintre care Gregory a mâncat două (2/8)
iar ultimele patruzeci de zile de vânătoare în raport cu două sute de zile secetoase și patruzeci de zile de vânătoare în raport cu o sută șaizeci și cinci de zile ploioase. (40/200) + (40/165)

astfel obținem că:

FORMULA DE PROBABILITATE PENTRU UN EVENIMENT.

Unde K este evenimentul care ne interesează și N este numărul total al acestor evenimente, de asemenea, pentru a vă verifica, probabilitatea unui anumit eveniment nu poate fi mai mare de unu. (deoarece există întotdeauna mai puține evenimente probabile)

FORMULA LUI SHANNON PENTRU CALCUL INFORMAȚII (FIG. 3)

Să revenim la sarcina noastră și să calculăm câte informații sunt conținute.

Apropo, atunci când se calculează logaritmul, este convenabil să folosești site-ul web - https://planetcalc.ru/419/#

Pentru primul caz - 2/6 = 0,33 = și apoi Log 2 0,33 = 1,599 biți
Pentru al doilea caz - 1/10 = 0,10 Log 2 0,10 = 3,322 biți
Pentru al treilea - 2/8 = 0,25 = Log 2 0,25 = 2 biți
Pentru al patrulea - 40/200 + 40/165 = 0,2 și, respectiv, 0,24, atunci calculăm folosind formula -(0,2 * log 2 0,2) + -(o.24 * log 2 0,24) = 0,95856 biți

Astfel, răspunsul la problema noastră a fost 4.

Inginerul american R. Hartley în 1928 a considerat procesul de obținere a informațiilor ca selectarea unui mesaj dintr-un set finit predeterminat de N mesaje la fel de probabile, iar cantitatea de informații pe care o conțineam în mesajul selectat a fost definită ca logaritmul binar al lui N.

Formula lui Hartley: I = log 2 N

Să presupunem că trebuie să ghiciți un număr dintr-un set de numere de la unu la o sută. Folosind formula lui Hartley, puteți calcula câte informații sunt necesare pentru aceasta: I = log 2 100  6,644. Astfel, un mesaj despre un număr ghicit corect conține o cantitate de informații aproximativ egală cu 6.644 unități de informații.

Să dăm altora exemple de mesaje la fel de probabile:

când arunci o monedă: „A ieșit din cap”, "capetele au cazut";

pe pagina de carte: „numărul de litere este par”, „numărul de litere este impar”.

Să stabilim acum mesajele sunt la fel de probabile? „Prima femeie care a părăsit ușile clădirii”Și „Omul va fi primul care va părăsi ușa clădirii”. Este imposibil să răspundem fără ambiguitate la această întrebare. Totul depinde de ce fel de clădire vorbim. Dacă aceasta este, de exemplu, o stație de metrou, atunci probabilitatea de a părăsi prima ușă este aceeași pentru un bărbat și o femeie, iar dacă aceasta este o cazarmă militară, atunci pentru un bărbat această probabilitate este mult mai mare decât pentru o femeie. .

Pentru probleme de acest gen, omul de știință american Claude Shannon a propus în 1948 o altă formulă pentru determinarea cantității de informații, ținând cont de posibila probabilitate inegală a mesajelor din set.

Formula lui Shannon: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N),
unde p i- probabilitatea ca exact i Al-lea mesaj este selectat într-un set de N mesaje.

Este ușor de observat că dacă probabilitățile p 1, ..., p N sunt egale, atunci fiecare dintre ele este egală 1/N, iar formula lui Shannon se transformă în formula lui Hartley.

Pe lângă cele două abordări luate în considerare pentru determinarea cantității de informații, există și altele. Este important să ne amintim că orice rezultate teoretice sunt aplicabile doar pentru o anumită gamă de cazuri, subliniate de ipotezele inițiale.

Ca unitate de informare, Claude Shannon a propus să ia una pic (Engleză. pic - bi nary digi t - Cifră binară).

Pic în teoria informaţiei- cantitatea de informații necesară pentru a distinge două mesaje la fel de probabile (cum ar fi „capete” - „cozi”, „par” - „impar”, etc.).

În informatică Un bit este cea mai mică „porțiune” de memorie a computerului necesară pentru a stoca unul dintre cele două caractere „0” și „1” utilizate pentru reprezentarea internă a datelor și comenzilor.

Un pic este o unitate de măsură prea mică. În practică, o unitate mai mare este folosită mai des - octet , egal opt biți. Tocmai opt biți sunt necesari pentru a codifica oricare dintre cele 256 de caractere ale alfabetului tastaturii computerului (256 = 2 8).

De asemenea, utilizat pe scară largă unități de informație derivate mai mari:

1 Kilobyte (KB) = 1024 bytes = 2 10 bytes,

1 Megaoctet (MB) = 1024 KB = 2 20 octeți,

1 gigabyte (GB) = 1024 MB = 2 30 octeți.

Recent, din cauza creșterii volumului de informații procesate, unități derivate precum:

1 Terabyte (TB) = 1024 GB = 2 40 octeți,

1 petabyte (PB) = 1024 TB = 2 50 octeți.

Pe unitate de informație, se poate alege cantitatea de informații necesară pentru a distinge, de exemplu, zece mesaje la fel de probabile. Nu va fi binar (bit), ci zecimal ( dit) unitate de informare.

Ce poți face cu informațiile?

Informatiile pot fi:

Toate aceste procese asociate cu anumite operațiuni asupra informațiilor sunt numite procesele informaţionale.

Proprietățile informațiilor.

Proprietățile informațiilor:

fiabilitate;

valoare;

oportunitatea; intelegere;

disponibilitate;

concizie;

Informația este de încredere dacă reflectă starea reală a lucrurilor. Informațiile inexacte pot duce la neînțelegeri sau la decizii proaste.

Informațiile de încredere pot deveni nesigure în timp, întrucât are proprietatea a se învechi, acesta este încetează să reflecte adevărata stare de lucruri.

Informațiile sunt complete dacă sunt suficiente pentru înțelegerea și luarea deciziilor. Informații atât incomplete, cât și redundante inhibă luarea deciziilor sau poate duce la erori.

Acuratețea informațiilor este determinată de gradul de apropiere de starea reală a obiectului, procesului, fenomenului etc.

Valoarea informațiilor depinde de cât de importantă este aceasta pentru rezolvarea problemei, și, de asemenea, din fapt cât de departe își va găsi aplicarea în orice tip de activitate umană în viitor?.

Numai informațiile primite în timp util pot aduce beneficiile așteptate. La fel de nedorit transmiterea prematură a informațiilor(când nu poate fi încă asimilat), la fel întârziere.

Dacă informațiile valoroase și oportune sunt exprimate într-un mod neclar, ea poate deveni inutil.

informație devine clar, dacă este exprimată în limba vorbită de cei cărora le sunt destinate aceste informații.

Informațiile trebuie prezentate într-un mod accesibil(după nivelul de percepție) formă. Prin urmare, aceleași întrebări sunt prezentate diferit în manualele școlare și în publicațiile științifice.

Informații despre aceeași problemă poate fi rezumat(concis, fără detalii neimportante) sau pe larg(detaliat, verbos). Concizia informațiilor este necesară în cărțile de referință, enciclopedii, manuale și tot felul de instrucțiuni.

Procesarea datelor.

Procesarea datelor- obţinerea unor obiecte informaţionale din alte obiecte informaţionale prin executarea unor algoritmi.

Prelucrarea este una dintre principalele operațiuni efectuate asupra informațiilor și principalele mijloace de creștere a volumului și varietății informațiilor.

Instrumentele de procesare a informațiilor sunt tot felul de dispozitive și sisteme create de omenire și, în primul rând, un computer este o mașină universală pentru procesarea informațiilor.

Formulele lui Hartley și Shannon.

În 1928, inginerul american R. Hartley a propus o abordare științifică a evaluării mesajelor. Formula pe care a propus-o a fost următoarea:

I = jurnal 2 K

unde K este numărul de evenimente la fel de probabile; I este numărul de biți din mesaj astfel încât oricare dintre K evenimente a avut loc. ApoiK=2 eu .

Uneori formula lui Hartley este scrisă astfel:

I = jurnal 2 K = log 2 (1 / R) = - jurnal 2 R

întrucât fiecare dintre cele K evenimente are un rezultat la fel de probabil p = 1 / K, atunci K = 1 / p.

Sarcină.

Bila se află într-una din cele trei urne: A, B sau C. Determinați câte biți de informații conține mesajul pe care se află în urna B.

Soluţie.

Acest mesaj conține I = jurnal 2 3 = 1,585 biți de informații.

Dar nu toate situațiile au aceeași probabilitate de implementare. Există multe astfel de situații în care probabilitățile de realizare diferă. De exemplu, dacă aruncă o monedă asimetrică sau „regula sandwich”.

"Odată, când eram copil, am scăpat un sandviș. Privindu-mă că șterg vinovată o pată de ulei rămasă pe podea, fratele meu mai mare m-a asigurat:

- Nu vă faceți griji, legea sandvișului a funcționat.

- Ce fel de lege este asta? - Am întrebat.

- Legea care spune: „Un sandviș aterizează întotdeauna cu untul în jos.” Totuși, aceasta este o glumă”, a continuat fratele. - Nu există lege. Doar că sandvișul se comportă într-adevăr destul de ciudat: cea mai mare parte a untului ajunge la fund.

„Hai să mai aruncăm sandvișul de câteva ori și să verificăm”, i-am sugerat. - Oricum va trebui să-l arunci.

Noi am verificat. Din zece ori, de opt ori sandvișul a căzut cu untul în jos.

Și apoi m-am gândit: este posibil să știu dinainte dacă sandvișul va cădea cu untul în jos sau în sus?

Experimentele noastre au fost întrerupte de mama noastră...”

(Fragment din cartea „Secretul marilor comandanți”, V. Abchuk).

În 1948, inginerul și matematicianul american K. Shannon a propus o formulă pentru calcularea cantității de informații pentru evenimente cu probabilități diferite.

Dacă I este cantitatea de informații,

K este numărul de evenimente posibile,

R i - probabilități de evenimente individuale,

atunci cantitatea de informații pentru evenimente cu probabilități diferite poate fi determinată prin formula:

I = - SumăR i Buturuga 2 R i ,

unde i ia valori de la 1 la K.

Formula lui Hartley poate fi considerată acum ca un caz special al formulei lui Shannon:

I = - Suma 1 /LAButuruga 2 (1 / LA) = I = log 2 LA.

In cazul unor evenimente la fel de probabile, cantitatea de informatii obtinute este maxima.

Fiziologii și psihologii au învățat să determine cantitatea de informații pe care o persoană o poate percepe prin simțuri, reține în memorie și proces. Informațiile pot fi prezentate sub diferite forme: sunet, simboluri etc. Metoda discutată mai sus pentru determinarea cantității de informații primite în mesaje care reduc incertitudinea cunoștințelor noastre consideră informația din perspectiva conținutului său, a noutății și a înțelegerii pentru om. Din acest punct de vedere, în experiența aruncării unui zar, aceeași cantitate de informații este conținută în mesajele „două”, „o latură cu două puncte a căzut în sus” și în imaginea vizuală a cubului care cade.

La transmiterea și stocarea informațiilor folosind diverse dispozitive tehnice informațiile trebuie considerate ca o secvență de caractere (cifre, litere, coduri de culoare ale punctelor imaginii), fără a lua în considerare conținutul acesteia.

Având în vedere că alfabetul (un set de simboluri ale unui sistem de semne) este un eveniment, atunci apariția unuia dintre simbolurile dintr-un mesaj poate fi considerată ca una dintre stările evenimentului. Dacă caracterele sunt la fel de probabil să apară, atunci putem calcula câți biți de informații poartă fiecare personaj. Capacitatea de informare a caracterelor este determinată de numărul lor în alfabet. Cu cât este format din mai multe caractere alfabetul, cu atât mai multe cantitate mare informația este purtată de un singur semn. Numărul total de simboluri ale alfabetului este de obicei numit puterea alfabetului.

Moleculele de ADN (acid dezoxiribonucleic) sunt formate din patru componente diferite (nucleotide) care formează alfabetul genetic. Capacitatea de informare a semnului acestui alfabet este:

4 = 2 eu , adică I = 2 biți.

Fiecare literă a alfabetului rus (dacă presupunem că e = ё) poartă 5 biți de informație (32 = 2 eu ).

Cu această abordare, ca urmare a mesajului despre rezultatul aruncării zarurilor, obținem o cantitate diferită de informații.Pentru a o calcula, trebuie să înmulțiți numărul de caractere cu cantitatea de informații transportată de un personaj.

Cantitatea de informații pe care o conține un mesaj codificat folosind un sistem de semne este egală cu cantitatea de informații pe care o poartă un caracter înmulțită cu numărul de caractere din mesaj.

Exemplul 1. Folosind formula lui Hartley pentru a calcula cantitatea de informații. Câte biți de informații transmite mesajul?

trenul ajunge pe una din cele 8 linii?

Formula lui Hartley:I = jurnal 2 N ,

unde N este numărul de rezultate la fel de probabile ale evenimentului la care se face referire în mesaj,

I – cantitatea de informații din mesaj.

I = jurnal 2 8 = 3(biți) Răspuns: 3 biți.

Formula Hartley modificată pentru evenimente neechivalente. Întrucât apariția fiecăruia dintre cele N evenimente posibile are aceeași probabilitate

p=1/N , AceaN=1/p iar formula arată ca

I = jurnal 2 N=log 2 (1/p) = - log 2 p

Relația cantitativă dintre probabilitatea unui eveniment (p) și cantitatea de informații din mesajul despre acesta (I) este exprimată prin formula:

I = jurnal 2 (1/p)

Probabilitatea unui eveniment se calculează folosind formulap=K/N , K – o valoare care arată de câte ori a avut loc evenimentul care ne interesează; N este numărul total de rezultate și evenimente posibile. Dacă probabilitatea scade, cantitatea de informații crește.

Exemplul 2. Sunt 30 de persoane în clasă. Pentru testul de matematică am primit 6 A, 15 B, 8 C și 1 D. Câte informații conține mesajul că Ivanov a primit un „B”?

Relația cantitativă dintre probabilitatea unui eveniment (p) și cantitatea de informații raportate despre acesta (I)

I = jurnal 2 (1/p) = - log 2 p

probabilitatea evenimentului 15/30

cantitatea de informații din mesaj =log 2 (30/15)=log 2 2=1.

Răspuns: 1 bit.

Unități de informații de bază:

Iср - numărul de biți de informație pe literă în medie;

M - numărul de caractere din mesaj

I – volumul informațiilor mesajului

p i -probabilitatea aparitiei caracterului i in mesaj; i - număr simbol;

eu mier = -

Senseu mier i p i = 1/N.

Vom presupune că probabilitatea ca un simbol să apară într-un mesaj coincide cu frecvența apariției acestuia în texte. Prin urmare, litera „a” apare cu o frecvență medie de 200/1000 = 0,2; Probabilitatea ca litera „a” să apară în text (p A ) poate fi considerat aproximativ egal cu 0,2;

litera „f” apare cu o frecvență de 2/1000=0,002; litera „p” - cu o frecvență de 40/1000=0,04;

La fel, p R = 0,04, p f = 0,002. În continuare procedăm conform lui K. Shannon. Luăm logaritmul binar al valorii 0,2 și numim ceea ce obținem cantitatea de informații transmise de o singură literă „a” în textul în cauză. Vom efectua exact aceeași operațiune pentru fiecare literă. Atunci cantitatea de informații intrinseci purtate de o literă este egală cuButuruga 2 1/p i = -log 2 p i , Este mai convenabil să folosiți cantitatea medie de informații per caracter al alfabetului ca măsură a cantității de informații.

eu mier = -

Senseu mier atinge un maxim pentru evenimente la fel de probabile, adică atunci când toate p i

p i = 1/N.

În acest caz, formula lui Shannon se transformă în formula lui Hartley.

I = M*I mier =4*(-(0,002*log 2 0,002+0,2* log 2 0,2+0,04* log 2 0,04+0,2* log 2 0,2))=4*(-(0,002*(-8,967)+0,2*(-2,322)+0,04*(-4,644)+0,2*(-2,322)))=4*(-(-0,018-0,46-0,19-0,46))=4*1,1325=4,53

Răspuns: 4,53 biți

La alcătuirea tabelului trebuie să luăm în considerare:

Introducerea datelor (conform condiției).

Calcularea numărului total de rezultate posibile (formula N=K 1 +K 2 +…+K i).

Calcularea probabilității fiecărui eveniment (formula p i= K i/N).

Calcularea cantității de informații despre fiecare eveniment care are loc (formula I i=log 2 (1/p i)).

Calcularea cantității de informații pentru evenimente cu probabilități diferite (formula lui Shannon).

Progres:

1 . Do model tabelar pentru a calcula cantitatea de informații.

2 . Folosind modelul tabelar, faceți calcule pentru sarcina nr. 2 (Fig. 3), scrieți rezultatul calculului într-un caiet.

Sarcina nr. 3

Cutia contine cuburi: 10 rosii, 8 verzi, 5 galbene, 12 albastre. Calculați probabilitatea de a obține un cub din fiecare culoare și cantitatea de informații care va fi obținută.

Sarcina nr. 4

O pungă opaca conține 10 bile albe, 20 roșii, 30 albastre și 40 verzi. Câte informații vor fi conținute în mesajul vizual despre culoarea mingii îndepărtate?