Ce este Big Data: am colectat toate cele mai importante lucruri despre Big Data. Enciclopedia de marketing

La un moment dat am auzit termenul „Big Data” de la germanul Gref (șeful Sberbank). Ei spun că acum lucrează activ la implementare, deoarece acest lucru îi va ajuta să reducă timpul de lucru cu fiecare client.

A doua oară când am întâlnit acest concept a fost într-un magazin online al unui client, la care lucram și am mărit sortimentul de la câteva mii la câteva zeci de mii de articole de produs.

A treia oară am văzut că Yandex avea nevoie de un analist de date mari. Apoi m-am hotărât să aprofundez acest subiect și, în același timp, să scriu un articol care să spună ce fel de termen este cel care emoționează mințile managerilor de TOP și spațiul internetului.

VVV sau VVVVV

De obicei, încep oricare dintre articolele mele cu o explicație despre ce fel de termen este acesta. Acest articol nu va face excepție.

Cu toate acestea, acest lucru este cauzat în primul rând nu de dorința de a arăta cât de inteligent sunt, ci de faptul că subiectul este cu adevărat complex și necesită o explicație atentă.

De exemplu, puteți citi ce sunt datele mari pe Wikipedia, să nu înțelegeți nimic și apoi să reveniți la acest articol pentru a înțelege în continuare definiția și aplicabilitatea pentru afaceri. Deci, să începem cu o descriere și apoi cu exemple pentru afaceri.

Big data este big data. Uimitor, nu? De fapt, acest lucru se traduce din engleză ca „date mari”. Dar această definiție, s-ar putea spune, este pentru manechini.

Important. Tehnologia Big Data este o abordare/metodă de prelucrare a mai multor date pentru a obține informații noi care este dificil de prelucrat prin metode convenționale.

Datele pot fi fie procesate (structurate), fie dispersate (adică nestructurate).

Termenul în sine a apărut relativ recent. În 2008, un jurnal științific a prezis această abordare ca fiind necesară pentru a face față unor cantități mari de informații care cresc exponențial.

De exemplu, în fiecare an informațiile de pe Internet care trebuie stocate și, bineînțeles, prelucrate cresc cu 40%. Din nou. +40% Informații noi apar pe internet în fiecare an.

Dacă documentele tipărite sunt clare și metodele de procesare a acestora sunt, de asemenea, clare (transfer în formă electronică, cusătură într-un singur folder, număr), atunci ce să faceți cu informațiile care sunt prezentate în „media” complet diferite și în alte volume:

• documente pe internet;
• bloguri și rețele sociale;
• surse audio/video;
• aparate de masura;

Există caracteristici care permit ca informațiile și datele să fie clasificate ca date mari.

Adică, nu toate datele pot fi potrivite pentru analiză. Aceste caracteristici conțin exact conceptul cheie al datelor mari. Toate se potrivesc în trei Vs.

1. Volumul (din volumul englezesc). Datele sunt măsurate în funcție de volumul fizic al „documentului” de analizat;
2. Viteză (din engleză viteza). Datele nu stau nemișcate în dezvoltarea lor, ci sunt în continuă creștere, motiv pentru care este necesară prelucrarea lor rapidă pentru a obține rezultate;
3. Varietate (din varietatea engleză). Este posibil ca datele să nu aibă același format. Adică pot fi împrăștiate, structurate sau parțial structurate.

Cu toate acestea, din când în când un al patrulea V (veritate) și chiar un al cincilea V se adaugă la VVV (în unele cazuri aceasta este viabilitatea, în altele este valoare).

Undeva am văzut chiar și 7V, care caracterizează datele legate de big data. Dar, după părerea mea, aceasta este dintr-o serie (unde se adaugă periodic P-uri, deși primele 4 sunt suficiente pentru înțelegere).

SUNTEM DEJA MAI MULT DE 29.000 de oameni.
PORNIȚI

Cine are nevoie de asta?

Apare o întrebare logică: cum puteți utiliza informațiile (dacă este ceva, big data este de sute și mii de terabytes)? Nici măcar atât.

Iată informațiile. Atunci de ce a fost inventat întâlnirea mare atunci? Care este utilizarea datelor mari în marketing și afaceri?

1. Bazele de date convenționale nu pot stoca și procesa (nici măcar nu vorbesc acum despre analiză, ci pur și simplu stochează și procesează) cantități uriașe de informații.

   Big data rezolvă această problemă principală. Stochează și gestionează cu succes volume mari de informații;

2. Structurează informațiile provenind din diverse surse (video, imagini, documente audio și text) într-o formă unică, ușor de înțeles și digerabilă;
3. Generarea de analize și crearea de previziuni precise bazate pe informații structurate și procesate.

Este complicat. Pentru a spune simplu, orice marketer care înțelege că dacă studiezi o cantitate mare de informații (despre tine, compania ta, concurenții tăi, industria ta), poți obține rezultate foarte decente:

• Înțelegerea completă a companiei și a afacerii dvs. din punct de vedere al cifrelor;
• Studiază-ți concurenții. Iar aceasta, la rândul său, va face posibilă trecerea înainte prin dominarea lor;
• Aflați informații noi despre clienții dvs.

Și tocmai pentru că tehnologia big data dă următoarele rezultate, toată lumea se grăbește cu ea.

Ei încearcă să încorporeze această afacere în compania lor pentru a crește vânzările și a reduce costurile. Și dacă anume, atunci:

1. Creșterea vânzărilor încrucișate și a vânzărilor suplimentare datorită cunoașterii mai bune a preferințelor clienților;
2. Căutați produse populare și motivele pentru care oamenii le cumpără (și invers);
3. Îmbunătățirea unui produs sau serviciu;
4. Îmbunătățirea nivelului de servicii;
5. Creșterea loialității și a orientării către clienți;
6. Prevenirea fraudei (mai relevant pentru sectorul bancar);
7. Reducerea costurilor inutile.

Cel mai frecvent exemplu, care este dat în toate sursele, este, desigur, compania Apple, care colectează date despre utilizatorii săi (telefon, ceas, computer).

Din cauza prezenței unui ecosistem, corporația știe atât de multe despre utilizatorii săi și ulterior îl folosește pentru a obține profit.

Puteți citi aceste și alte exemple de utilizare în orice alt articol, cu excepția celui acesta.

Să mergem în viitor

O să vă povestesc despre un alt proiect. Sau, mai degrabă, despre o persoană care construiește viitorul folosind soluții de date mari.

Acesta este Elon Musk și compania lui Tesla. Visul lui principal este să faci mașinile autonome, adică te urci la volan, pornești pilotul automat de la Moscova la Vladivostok și... adormi, pentru că nu trebuie deloc să conduci mașina, pentru că o să faci. totul în sine.

S-ar părea fantastic? Dar nu! Doar că Elon a acționat mult mai înțelept decât Google, care controlează mașinile folosind zeci de sateliți. Și a mers pe cealaltă direcție:

1. Fiecare mașină vândută este echipată cu un computer care colectează toate informațiile.

   Toate - asta înseamnă totul. Despre șofer, stilul său de condus, drumurile din jurul lui, mișcarea altor mașini. Volumul acestor date ajunge la 20-30 GB pe oră;

2. În continuare, aceste informații sunt transmise prin comunicare prin satelit către un computer central, care prelucrează aceste date;
3. Pe baza datelor mari procesate de acest computer, se construiește un model de vehicul fără pilot.

Apropo, dacă Google merge destul de prost și mașinile lor intră în accidente tot timpul, atunci Musk, din cauza faptului că lucrează cu big data, se descurcă mult mai bine, deoarece modelele de testare arată rezultate foarte bune.

Dar... Totul tine de economie. Ce suntem cu toții despre profit, dar despre profit? Multe lucruri pe care le poate decide o întâlnire mare nu au nicio legătură cu câștigurile și banii.

Statisticile Google, bazate pe date mari, arată un lucru interesant.

Înainte ca medicii să anunțe începutul unei epidemii de boală într-o anumită regiune, numărul de interogări de căutare despre tratamentul acestei boli în acea regiune crește semnificativ.

Astfel, studiul adecvat al datelor și analiza lor poate forma prognoze și poate prezice declanșarea unei epidemii (și, în consecință, prevenirea acesteia) mult mai rapid decât încheierea organismelor oficiale și acțiunile acestora.

Aplicație în Rusia

Cu toate acestea, Rusia, ca întotdeauna, „încetinește” puțin. Deci însăși definiția datelor mari în Rusia a apărut cu nu mai mult de 5 ani în urmă (vorbesc despre companii obișnuite acum).

Și asta în ciuda faptului că aceasta este una dintre piețele cu cea mai rapidă creștere din lume (drogurile și armele fumează nervos pe margine), deoarece în fiecare an piața de software pentru colectarea și analiza big data crește cu 32%.

Pentru a caracteriza piața de date mari din Rusia, îmi amintesc o glumă veche. O întâlnire mare este ca și cum ai face sex înainte de a împlini 18 ani.

Toată lumea vorbește despre asta, există multă hype în jurul lui și puțină acțiune reală și tuturor le este rușine să recunoască că ei înșiși nu o fac. Într-adevăr, există multă hype în jurul acestui lucru, dar puțină acțiune reală.

Deși cunoscuta companie de cercetare Gartner a anunțat deja în 2015 că big data nu mai este o tendință în creștere (cum ar fi inteligența artificială, de altfel), ci instrumente complet independente pentru analiza și dezvoltarea tehnologiilor avansate.

Cele mai active nișe în care se folosesc big data în Rusia sunt băncile/asigurări (nu degeaba am început articolul cu șeful Sberbank), sectorul telecomunicațiilor, retail, imobiliar și... sectorul public.

Ca exemplu, vă voi spune mai detaliat despre câteva sectoare economice care folosesc algoritmi de date mari.

Băncile

Să începem cu băncile și informațiile pe care le colectează despre noi și acțiunile noastre. Ca exemplu, am luat TOP 5 bănci rusești care investesc activ în big data:

1. Sberbank;
2. Gazprombank;
3. VTB 24;
4. Alfa Bank;
5. Banca Tinkoff.

Este deosebit de plăcut să vezi Alfa Bank printre liderii ruși. Cel puțin, este plăcut să știi că banca, al cărei partener oficial ești, înțelege nevoia de a introduce noi instrumente de marketing în compania sa.

Dar vreau să arăt exemple de utilizare și implementare cu succes a datelor mari pe o bancă care îmi place pentru viziunea și acțiunile neconvenționale ale fondatorului ei.

Vorbesc despre Tinkoff Bank. Principala lor provocare a fost dezvoltarea unui sistem de analiză a datelor mari în timp real, datorită bazei de clienți în creștere.

Rezultate: timpul proceselor interne a fost redus de cel puțin 10 ori, iar pentru unii - de peste 100 de ori.

Ei bine, puțină distragere a atenției. Știți de ce am început să vorbesc despre trăsăturile și acțiunile neobișnuite ale lui Oleg Tinkov?

Doar că, în opinia mea, ei au fost cei care l-au ajutat să se transforme dintr-un om de afaceri mediocru, dintre care sunt mii în Rusia, într-unul dintre cei mai faimoși și recunoscuți antreprenori. Pentru a confirma acest lucru, urmăriți acest videoclip neobișnuit și interesant:

Imobiliare

În imobiliare totul este mult mai complicat. Și acesta este exact exemplul pe care vreau să-l dau pentru a înțelege întâlnirile mari din afacerile obișnuite. Date inițiale:

1. Volum mare de documentație text;
2. Surse deschise (sateliți privați care transmit date despre schimbările pământului);
3. O cantitate imensă de informații necontrolate pe Internet;
4. Schimbări constante ale surselor și datelor.

Și pe baza acestui fapt, este necesar să se pregătească și să se evalueze valoarea unui teren, de exemplu, lângă un sat Ural. Un profesionist va lua o săptămână pentru a face acest lucru.

Societatea Rusă a Evaluatorilor și ROSEKO, care de fapt a implementat analiza de date mari folosind software, nu va dura mai mult de 30 de minute de muncă pe îndelete. Compară, o săptămână și 30 de minute. O diferență uriașă.

Ei bine, pentru o gustare

Desigur, cantități uriașe de informații nu pot fi stocate și procesate pe hard disk-uri simple.

Iar software-ul care structurează și analizează datele este în general proprietate intelectuală și de fiecare dată dezvoltarea autorului. Cu toate acestea, există instrumente pe baza cărora este creată toată această frumusețe:

• Hadoop și MapReduce;
• baze de date NoSQL;
• Instrumente de clasă Data Discovery.

Sincer să fiu, nu voi putea să vă explic în mod clar cum diferă între ele, deoarece cunoașterea și lucrul cu aceste lucruri se predă în institutele de fizică și matematică.

Atunci de ce am vorbit despre asta dacă nu am putut explica? Îți amintești în toate filmele, tâlharii intră în orice bancă și văd un număr mare de tot felul de piese hardware conectate la fire?

La fel este la mare întâlnire. De exemplu, iată un model care este în prezent unul dintre liderii de pe piață.

Instrument de întâlnire mare

Costul configurației maxime ajunge la 27 de milioane de ruble pe rack. Aceasta este, desigur, versiunea deluxe. Vreau să încercați în avans crearea de date mari în afacerea dvs.

Pe scurt despre principalul lucru

S-ar putea să vă întrebați, de ce aveți nevoie, o companie mică și mijlocie, să lucrați cu date mari?

La aceasta vă voi răspunde cu un citat de la o persoană: „În viitorul apropiat, clienții vor fi în căutarea companiilor care să le înțeleagă mai bine comportamentul și obiceiurile și să li se potrivească cel mai bine.”

Dar să recunoaștem. Pentru a implementa big data într-o afacere mică, trebuie să ai nu numai bugete mari pentru dezvoltarea și implementarea de software, ci și pentru întreținerea unor specialiști, cel puțin precum un analist de big data și un administrator de sistem.

Și acum tac despre faptul că trebuie să aveți astfel de date pentru prelucrare.

BINE. Subiectul aproape nu este aplicabil pentru întreprinderile mici. Dar asta nu înseamnă că trebuie să uiți tot ce ai citit mai sus.

Doar studiați nu datele dvs., ci rezultatele analizei datelor de la companii binecunoscute atât din străinătate, cât și din Rusia.

De exemplu, lanțul de vânzare cu amănuntul Target, folosind analize de date mari, a constatat că femeile însărcinate înainte de al doilea trimestru de sarcină (de la prima până la a 12-a săptămână de sarcină) cumpără în mod activ produse cu parfum ONU.

Folosind aceste date, le trimit cupoane cu reduceri pe timp limitat la produse fără parfum.

Ce se întâmplă dacă ești doar o cafenea foarte mică, de exemplu? Da, foarte simplu. Utilizați o aplicație de loialitate.

Și după ceva timp și datorită informațiilor acumulate, veți putea nu numai să oferiți clienților preparate relevante pentru nevoile lor, ci și să vedeți cele mai nevândute și cu cea mai mare marjă de mâncare în doar câteva clicuri de mouse.

De aici concluzia. Este puțin probabil ca o afacere mică să implementeze date mari, dar este imperativ să se folosească rezultatele și evoluțiile altor companii.

Termenul „Big Data” poate fi recunoscut astăzi, dar există încă destulă confuzie în jurul lui cu privire la ceea ce înseamnă de fapt. Într-adevăr, conceptul evoluează constant și este redefinit, deoarece rămâne forța motrice din spatele multor valuri de transformare digitală în curs, inclusiv inteligența artificială, știința datelor și Internetul obiectelor. Dar ce este tehnologia Big-Data și cum ne schimbă lumea? Să încercăm să înțelegem esența tehnologiei Big Data și ce înseamnă aceasta în cuvinte simple.

Totul a început cu o explozie a cantității de date pe care le-am creat încă de la începutul erei digitale. Acest lucru se datorează în mare parte dezvoltării computerelor, internetului și tehnologiilor care pot „smulge” date din lumea din jurul nostru. Datele în sine nu sunt o invenție nouă. Chiar înainte de era computerelor și bazelor de date, am folosit înregistrări ale tranzacțiilor pe hârtie, înregistrări ale clienților și fișiere de arhivă care constituie date. Calculatoarele, în special foile de calcul și bazele de date, ne-au facilitat stocarea și organizarea datelor la scară largă. Dintr-o dată, informațiile au fost disponibile cu un singur clic.

Cu toate acestea, am parcurs un drum lung de la tabelele și bazele de date originale. Astăzi, la fiecare două zile creăm atâtea date câte am primit de la început până în anul 2000. Așa e, la fiecare două zile. Iar cantitatea de date pe care o creăm continuă să crească exponențial; până în 2020, cantitatea de informații digitale disponibile va crește de la aproximativ 5 zettabytes la 20 zettabytes.

În zilele noastre, aproape fiecare acțiune pe care o întreprindem își lasă amprenta. Generăm date de fiecare dată când intrăm online, când purtăm smartphone-urile noastre echipate cu un motor de căutare, când vorbim cu prietenii noștri prin rețelele de socializare sau chat-uri etc. În plus, și cantitatea de date generate de mașini crește rapid. Datele sunt generate și partajate atunci când dispozitivele noastre inteligente de acasă comunică între ele sau cu serverele lor de acasă. Echipamentele industriale din fabrici și fabrici sunt din ce în ce mai dotate cu senzori care acumulează și transmit date.

Termenul „Big-Data” se referă la colectarea tuturor acestor date și la capacitatea noastră de a le folosi în avantajul nostru într-o gamă largă de domenii, inclusiv în afaceri.

Cum funcționează tehnologia Big-Data?

Big Data funcționează pe principiul: cu cât cunoașteți mai multe despre un anumit subiect sau fenomen, cu atât mai fiabil puteți obține o nouă înțelegere și puteți prezice ce se va întâmpla în viitor. Pe măsură ce comparăm mai multe puncte de date, apar relații care erau ascunse anterior, iar aceste relații ne permit să învățăm și să luăm decizii mai bune. Cel mai adesea, acest lucru se face printr-un proces care implică construirea de modele bazate pe datele pe care le putem colecta și apoi rularea de simulări care modifică de fiecare dată valorile punctelor de date și urmăresc modul în care acestea ne afectează rezultatele. Acest proces este automatizat – tehnologia modernă de analiză va rula milioane de aceste simulări, modificând fiecare variabilă posibilă până când vor găsi un model – sau o idee – care ajută la rezolvarea problemei la care lucrează.

Bill Gates atârnă peste conținutul de hârtie al unui CD

Până de curând, datele erau limitate la foi de calcul sau baze de date - și totul era foarte organizat și îngrijit. Orice lucru care nu putea fi ușor organizat în rânduri și coloane a fost considerat prea complex pentru a fi lucrat și a fost ignorat. Cu toate acestea, progresele în stocare și analiză înseamnă că putem captura, stoca și procesa cantități mari de diferite tipuri de date. Ca rezultat, „date” astăzi poate însemna orice, de la baze de date la fotografii, videoclipuri, înregistrări audio, texte scrise și date senzorilor.

Pentru a înțelege toate aceste date dezordonate, proiectele bazate pe Big Data folosesc adesea analize de ultimă oră, folosind inteligența artificială și învățarea pe computer. Învățând mașinile de calcul să determine ce date specifice sunt – prin recunoașterea modelelor sau procesarea limbajului natural, de exemplu – le putem învăța să identifice tipare mult mai rapid și mai fiabil decât putem noi înșine.

Cum se utilizează Big Data?

Acest flux din ce în ce mai mare de date senzorilor, text, voce, date foto și video înseamnă că acum putem folosi datele în moduri care ar fi fost de neimaginat cu doar câțiva ani în urmă. Acest lucru aduce schimbări revoluționare în lumea afacerilor în aproape fiecare industrie. Astăzi, companiile pot prezice cu o acuratețe incredibilă ce categorii specifice de clienți vor dori să facă o achiziție și când. Big Data ajută, de asemenea, companiile să-și desfășoare activitățile mult mai eficient.

Chiar și în afara afacerilor, proiectele legate de Big Data ajută deja la schimbarea lumii noastre în diferite moduri:

• Îmbunătățirea asistenței medicale – Medicina bazată pe date are capacitatea de a analiza cantități mari de informații și imagini medicale în modele care pot ajuta la detectarea bolii într-un stadiu incipient și la dezvoltarea de noi medicamente.
• Prezicerea și răspunsul la dezastrele naturale și provocate de om. Datele senzorilor pot fi analizate pentru a prezice unde pot avea loc cutremure, iar modelele de comportament uman oferă indicii care ajută organizațiile să ofere asistență supraviețuitorilor. Tehnologia Big Data este, de asemenea, utilizată pentru a urmări și proteja fluxul de refugiați din zonele de război din întreaga lume.
• Prevenirea criminalității. Forțele de poliție folosesc din ce în ce mai mult strategii bazate pe date care încorporează propriile informații de informații și informații disponibile public pentru a utiliza resursele mai eficient și pentru a lua măsuri de descurajare acolo unde este necesar.

Cele mai bune cărți despre tehnologia Big-Data

• Toată lumea minte. Motoarele de căutare, Big Data și Internetul știu totul despre tine.
• DATE MARE. Toată tehnologia într-o singură carte.
• Industria fericirii. Cum Big Data și noile tehnologii contribuie la adăugarea de emoție bunurilor și serviciilor.
• Revoluție în analiză. Cum să-ți îmbunătățești afacerea în era Big Data folosind analiza operațională.

Probleme cu Big Data

Big Data ne oferă idei și oportunități fără precedent, dar ridică și probleme și întrebări care trebuie abordate:

• Confidențialitatea datelor – Big Data pe care le generăm astăzi conține o mulțime de informații despre viața noastră personală, la care avem tot dreptul la confidențialitate. Din ce în ce mai mult, ni se cere să echilibrăm cantitatea de date personale pe care o dezvăluim cu comoditatea oferită de aplicațiile și serviciile bazate pe Big Data.
• Securitatea datelor - Chiar dacă decidem că suntem mulțumiți că cineva are datele noastre pentru un anumit scop, putem avea încredere în ei pentru a ne păstra datele în siguranță?
• Discriminarea datelor - odată ce toate informațiile sunt cunoscute, va fi acceptabilă discriminarea persoanelor pe baza datelor din viața lor personală? Folosim deja scorurile de credit pentru a decide cine poate împrumuta bani, iar asigurările sunt, de asemenea, bazate în mare măsură pe date. Ar trebui să ne așteptăm să fim analizați și evaluați mai detaliat, dar trebuie să avem grijă să ne asigurăm că acest lucru nu îngreunează viața celor cu mai puține resurse și cu acces limitat la informații.

Efectuarea acestor sarcini este o componentă importantă a Big Data și trebuie abordată de organizațiile care doresc să utilizeze astfel de date. Nerespectarea acestui lucru poate lăsa o afacere vulnerabilă, nu numai din punct de vedere al reputației sale, ci și din punct de vedere juridic și financiar.

Privind spre viitor

Datele ne schimbă lumea și viețile într-un ritm fără precedent. Dacă Big Data este capabil de toate acestea astăzi, imaginați-vă de ce va fi capabil mâine. Cantitatea de date disponibile pentru noi nu va face decât să crească, iar tehnologia de analiză va deveni și mai avansată.

Pentru companii, capacitatea de a aplica Big Data va deveni din ce în ce mai critică în următorii ani. Numai acele companii care privesc datele ca pe un activ strategic vor supraviețui și vor prospera. Cei care ignoră această revoluție riscă să rămână în urmă.

Ce s-a întâmplat Date mare(literalmente - Date mare)? Să ne uităm mai întâi la dicționarul Oxford:

Date- cantități, semne sau simboluri pe care le operează un calculator și care pot fi stocate și transmise sub formă de semnale electrice, înregistrate pe suporturi magnetice, optice sau mecanice.

Termen Date mare folosit pentru a descrie un set mare de date care crește exponențial în timp. Pentru a procesa o asemenea cantitate de date, nu te poți lipsi.

Beneficiile pe care le oferă Big Data:

1. Colectarea datelor din diverse surse.
2. Îmbunătățirea proceselor de afaceri prin analize în timp real.
3. Stocarea unor cantități uriașe de date.
4. Perspective. Big Data este mai perspicace în informațiile ascunse prin date structurate și semi-structurate.
5. Big Data vă ajută să reduceți riscurile și să luați decizii inteligente cu analiza de risc adecvată

Exemple de date mari

Bursa de Valori din New York generează zilnic 1 terabyte datele de tranzacționare pentru sesiunea trecută.

Rețelele de socializare: Statisticile arată că Facebook încarcă în fiecare zi 500 terabytes date noi sunt generate în principal din cauza încărcării de fotografii și videoclipuri pe serverele rețelelor sociale, mesaje, comentarii sub postări și așa mai departe.

Motor turboreactor generează 10 terabytes date la fiecare 30 de minute în timpul zborului. Deoarece mii de zboruri sunt efectuate în fiecare zi, volumul de date ajunge la petabytes.

Clasificarea Big Data

Formulare de date mari:

• Structurat
• Nestructurat
• Semi-structurat

Forma structurata

Datele care pot fi stocate, accesate și prelucrate într-un formular cu format fix se numesc structurate. De-a lungul timpului, informatica a făcut progrese mari în îmbunătățirea tehnicilor de lucru cu acest tip de date (unde formatul este cunoscut dinainte) și a învățat cum să beneficieze de el. Cu toate acestea, astăzi există deja probleme asociate cu creșterea volumelor la dimensiuni măsurate în intervalul mai multor zettabytes.

1 zettabyte este egal cu un miliard de terabytes

Privind aceste cifre, este ușor de observat veridicitatea termenului Big Data și dificultățile asociate cu procesarea și stocarea acestor date.

Datele stocate într-o bază de date relațională sunt structurate și arată ca, de exemplu, tabele ale angajaților companiei

Formă nestructurată

Datele cu structură necunoscută sunt clasificate ca nestructurate. Pe lângă dimensiunile mari, această formă se caracterizează printr-o serie de dificultăți în procesarea și extragerea informațiilor utile. Un exemplu tipic de date nestructurate este o sursă eterogenă care conține o combinație de fișiere text simple, imagini și videoclipuri. Astăzi, organizațiile au acces la cantități mari de date brute sau nestructurate, dar nu știu cum să extragă valoare din acestea.

Formă semistructurată

Această categorie conține ambele dintre cele descrise mai sus, astfel încât datele semi-structurate au o anumită formă, dar nu sunt definite de fapt de tabelele din bazele de date relaționale. Un exemplu al acestei categorii sunt datele personale prezentate într-un fișier XML.

Prashant RaoMasculin35 Seema R.Femeie41 Satish ManeMasculin29 Subrato RoyMasculin26 Ieremia J.Masculin35

Caracteristicile Big Data

Creșterea Big Data în timp:

Culoarea albastră reprezintă datele structurate (date Enterprise), care sunt stocate în baze de date relaționale. Alte culori indică date nestructurate din diverse surse (telefonie IP, dispozitive și senzori, rețele sociale și aplicații web).

Potrivit Gartner, Big Data variază în ceea ce privește volumul, rata de generare, varietate și variabilitate. Să aruncăm o privire mai atentă asupra acestor caracteristici.

1. Volum. Termenul Big Data în sine este asociat cu dimensiunea mare. Mărimea datelor este o măsură critică în determinarea valorii potențiale de extras. În fiecare zi, 6 milioane de oameni folosesc media digitală, generând aproximativ 2,5 chintilioane de octeți de date. Prin urmare, volumul este prima caracteristică de luat în considerare.
2. Diversitate- următorul aspect. Se referă la surse eterogene și la natura datelor, care pot fi fie structurate, fie nestructurate. Anterior, foile de calcul și bazele de date erau singurele surse de informații luate în considerare în majoritatea aplicațiilor. Astăzi, datele sub formă de e-mailuri, fotografii, videoclipuri, fișiere PDF și audio sunt, de asemenea, luate în considerare în aplicațiile analitice. Această varietate de date nestructurate duce la probleme în stocare, extragere și analiză: 27% dintre companii nu sunt sigure că lucrează cu datele potrivite.
3. Viteza de generare. Cât de repede sunt acumulate și procesate datele pentru a îndeplini cerințele determină potențialul. Viteza determină viteza fluxului de informații din surse - procese de afaceri, jurnalele de aplicații, rețele sociale și site-uri media, senzori, dispozitive mobile. Fluxul de date este imens și continuu în timp.
4. Variabilitate descrie variabilitatea datelor în anumite momente în timp, ceea ce complică procesarea și gestionarea. De exemplu, majoritatea datelor sunt de natură nestructurată.

Analiza Big Data: care sunt beneficiile big data

Promovarea bunurilor si serviciilor: Accesul la date din motoarele de căutare și site-uri precum Facebook și Twitter permite companiilor să dezvolte mai precis strategii de marketing.

Îmbunătățirea serviciului pentru clienți: Sistemele tradiționale de feedback ale clienților sunt înlocuite cu altele noi care utilizează Big Data și procesarea limbajului natural pentru a citi și evalua feedback-ul clienților.

Calculul riscului asociate cu lansarea unui nou produs sau serviciu.

Eficienta operationala: big data este structurat pentru a extrage rapid informațiile necesare și a produce rapid rezultate precise. Această combinație de Big Data și tehnologii de stocare ajută organizațiile să-și optimizeze munca cu informații rar utilizate.

Pe baza materialelor din cercetare și tendințe

Big Data se vorbește în presa IT și de marketing de câțiva ani. Și este clar: tehnologiile digitale au pătruns în viața omului modern, „totul este scris”. Volumul de date cu privire la diverse aspecte ale vieții este în creștere și, în același timp, crește posibilitățile de stocare a informațiilor.

Tehnologii globale pentru stocarea informațiilor

Sursa: Hilbert și Lopez, „Capacitatea tehnologică a lumii de a stoca, comunica și calcula informații”, Science, 2011 Global.

Majoritatea experților sunt de acord că accelerarea creșterii datelor este o realitate obiectivă. Rețelele sociale, dispozitivele mobile, datele de la aparatele de măsurare, informațiile de afaceri - acestea sunt doar câteva tipuri de surse care pot genera volume gigantice de informații. Conform studiului IDCUniversul digital, publicat în 2012, în următorii 8 ani cantitatea de date din lume va ajunge la 40 ZB (zettabytes), ceea ce echivalează cu 5200 GB pentru fiecare locuitor al planetei.

Creșterea colectării de informații digitale în SUA

Sursa: IDC

O mare parte din informații sunt create nu de oameni, ci de roboți care interacționează atât între ei, cât și cu alte rețele de date, cum ar fi senzorii și dispozitivele inteligente. La acest ritm de creștere, cantitatea de date din lume, potrivit cercetătorilor, se va dubla în fiecare an. Numărul de servere virtuale și fizice din lume va crește de zece ori datorită extinderii și creării de noi centre de date. Ca urmare, există o nevoie din ce în ce mai mare de a utiliza și de a genera bani în mod eficient aceste date. Deoarece utilizarea Big Data în afaceri necesită investiții considerabile, trebuie să înțelegeți clar situația. Și este, în esență, simplu: poți crește eficiența afacerii prin reducerea costurilor și/sau creșterea volumului vânzărilor.

De ce avem nevoie de Big Data?

Paradigma Big Data definește trei tipuri principale de probleme.

• Stocarea și gestionarea sutelor de terabytes sau petabytes de date pe care bazele de date relaționale convenționale nu le pot utiliza în mod eficient.
• Organizați informații nestructurate constând în texte, imagini, videoclipuri și alte tipuri de date.
• Analiza Big Data, care ridică problema modalităților de lucru cu informații nestructurate, generarea de rapoarte analitice, precum și implementarea modelelor predictive.

Piața proiectelor Big Data se intersectează cu piața de business analytics (BA), al cărei volum global, conform experților, se ridica la aproximativ 100 de miliarde de dolari în 2012. Include componente ale tehnologiei de rețea, servere, software și servicii tehnice.

De asemenea, utilizarea tehnologiilor Big Data este relevantă pentru soluțiile de clasă de asigurare a veniturilor (RA) menite să automatizeze activitățile companiilor. Sistemele moderne de garantare a veniturilor includ instrumente de detectare a inconsecvențelor și analiză aprofundată a datelor, permițând detectarea în timp util a posibilelor pierderi sau distorsiuni ale informațiilor care ar putea duce la scăderea rezultatelor financiare. Pe acest fond, companiile rusești, confirmând prezența cererii de tehnologii Big Data pe piața internă, observă că factorii care stimulează dezvoltarea Big Data în Rusia sunt creșterea datelor, accelerarea procesului decizional de management și îmbunătățirea calității acestora.

Ce vă împiedică să lucrați cu Big Data

Astăzi, doar 0,5% din datele digitale acumulate sunt analizate, în ciuda faptului că există în mod obiectiv probleme la nivel de industrie care ar putea fi rezolvate folosind soluții analitice de clasă Big Data. Piețele IT dezvoltate au deja rezultate care pot fi folosite pentru a evalua așteptările asociate cu acumularea și procesarea datelor mari.

Unul dintre principalii factori care încetinește implementarea proiectelor Big Data, pe lângă costul ridicat, este luat în considerare problema selectării datelor prelucrate: adică determinarea datelor care trebuie preluate, stocate și analizate și care ar trebui ignorate.

Mulți reprezentanți ai afacerilor notează că dificultățile în implementarea proiectelor Big Data sunt asociate cu o lipsă de specialiști - marketeri și analiști. Viteza rentabilității investiției în Big Data depinde direct de calitatea muncii angajaților implicați în analize aprofundate și predictive. Potențialul enorm al datelor deja existente într-o organizație nu poate fi utilizat în mod eficient de către specialiști înșiși din cauza proceselor de afaceri învechite sau a reglementărilor interne. Prin urmare, proiectele Big Data sunt adesea percepute de companii ca fiind dificile nu numai de implementat, ci și de evaluarea rezultatelor: valoarea datelor colectate. Natura specifică a lucrului cu date impune specialiștilor de marketing și analiștilor să-și schimbe atenția de la tehnologie și crearea de rapoarte la rezolvarea unor probleme specifice de afaceri.

Datorită volumului mare și vitezei mari a fluxului de date, procesul de colectare a datelor implică proceduri ETL în timp real. Pentru trimitere:ETL – de laEnglezăExtrage, Transforma, Sarcină- literalmente „extragerea, transformarea, încărcarea”) - unul dintre procesele principale în management depozite de date, care include: extragerea datelor din surse externe, transformarea acestora și curatenie pentru satisfacerea nevoilor ETL ar trebui privit nu numai ca un proces de mutare a datelor de la o aplicație la alta, ci și ca un instrument de pregătire a datelor pentru analiză.

Și atunci problemele de asigurare a securității datelor care provin din surse externe trebuie să aibă soluții care să corespundă volumului de informații cules. Deoarece metodele de analiză Big Data se dezvoltă doar în urma creșterii volumului de date, capacitatea platformelor analitice de a utiliza noi metode de pregătire și agregare a datelor joacă un rol important. Acest lucru sugerează că, de exemplu, datele despre potențialii cumpărători sau un depozit masiv de date cu istoricul clicurilor pe site-urile de cumpărături online pot fi de interes pentru rezolvarea diferitelor probleme.

Dificultățile nu se opresc

În ciuda tuturor dificultăților cu implementarea Big Data, afacerea intenționează să crească investițiile în acest domeniu. După cum reiese din datele Gartner, în 2013, 64% dintre cele mai mari companii din lume au investit deja sau au planuri să investească în implementarea tehnologiilor Big Data pentru afacerile lor, în timp ce în 2012 erau 58%. Potrivit cercetării Gartner, liderii industriilor care investesc în Big Data sunt companiile media, companiile de telecomunicații, companiile bancare și de servicii. Rezultate de succes din implementarea Big Data au fost deja obținute de mulți jucători importanți din industria de retail în ceea ce privește utilizarea datelor obținute cu ajutorul instrumentelor de identificare prin frecvență radio, a sistemelor de logistică și de relocare. reaprovizionare- acumulare, completare - R&T), precum și din programe de fidelitate. Experiența de succes în retail încurajează alte sectoare de piață să găsească noi modalități eficiente de a monetiza datele mari pentru a-și transforma analiza într-o resursă care funcționează pentru dezvoltarea afacerii. Datorită acestui fapt, potrivit experților, în perioada până în 2020, investițiile în management și stocare vor scădea per gigabyte de date de la 2 USD la 0,2 USD, dar pentru studiul și analiza proprietăților tehnologice ale Big Data vor crește cu doar 40%.

Costurile prezentate în diverse proiecte de investiții în domeniul Big Data sunt de altă natură. Elementele de cost depind de tipurile de produse care sunt selectate pe baza anumitor decizii. Cea mai mare parte a costurilor în proiectele de investiții, potrivit experților, revine produselor legate de colectarea, structurarea datelor, curățarea și managementul informațiilor.

Cum se face

Există multe combinații de software și hardware care vă permit să creați soluții eficiente de Big Data pentru diverse discipline de afaceri: de la social media și aplicații mobile, până la analiza și vizualizarea inteligentă a datelor de afaceri. Un avantaj important al Big Data este compatibilitatea noilor instrumente cu bazele de date utilizate pe scară largă în afaceri, ceea ce este deosebit de important atunci când lucrați cu proiecte interdisciplinare, cum ar fi organizarea de vânzări pe mai multe canale și asistența clienților.

Secvența de lucru cu Big Data constă în colectarea datelor, structurarea informațiilor primite folosind rapoarte și tablouri de bord, crearea de perspective și contexte și formularea de recomandări de acțiune. Deoarece lucrul cu Big Data implică costuri mari pentru colectarea datelor, rezultatul prelucrării cărora nu este cunoscut în prealabil, sarcina principală este de a înțelege clar pentru ce sunt datele și nu cât de mult sunt disponibile. În acest caz, colectarea datelor se transformă într-un proces de obținere a informațiilor exclusiv necesare pentru rezolvarea unor probleme specifice.

De exemplu, furnizorii de telecomunicații agregează o cantitate imensă de date, inclusiv geolocalizarea, care este actualizată în mod constant. Aceste informații pot fi de interes comercial pentru agențiile de publicitate, care le pot folosi pentru a oferi publicitate țintită și locală, precum și pentru retaileri și bănci. Astfel de date pot juca un rol important atunci când decideți deschiderea unui punct de vânzare cu amănuntul într-o anumită locație, pe baza datelor despre prezența unui flux puternic de persoane vizate. Există un exemplu de măsurare a eficienței reclamei pe panouri publicitare în aer liber în Londra. Acum, acoperirea unei astfel de reclame poate fi măsurată doar prin plasarea persoanelor cu un dispozitiv special în apropierea structurilor publicitare care numără trecătorii. Față de acest tip de măsurare a eficienței publicității, operatorul de telefonie mobilă are mult mai multe oportunități - știe exact locația abonaților săi, cunoaște caracteristicile demografice ale acestora, sexul, vârsta, starea civilă etc.

Pe baza unor astfel de date, în viitor există perspectiva modificării conținutului mesajului publicitar, folosind preferințele unei anumite persoane care trece pe lângă panoul publicitar. Dacă datele arată că o persoană care trece pe acolo călătorește mult, atunci i s-ar putea afișa o reclamă pentru o stațiune. Organizatorii unui meci de fotbal nu pot decât să estimeze numărul de suporteri atunci când vin la meci. Dar dacă ar putea cere furnizorului lor de telefonie mobilă informații despre locul în care se aflau vizitatorii cu o oră, o zi sau o lună înainte de un meci, ar oferi organizatorilor posibilitatea de a planifica spoturi publicitare pentru meciurile viitoare.

Un alt exemplu este modul în care băncile pot folosi Big Data pentru a preveni frauda. În cazul în care clientul raportează pierderea cardului, iar la efectuarea unei achiziții cu acesta, banca vede în timp real locația telefonului clientului în zona de cumpărare în care are loc tranzacția, banca poate verifica informațiile din aplicația clientului. să vadă dacă încerca să-l înşele. Sau invers, atunci când un client face o achiziție într-un magazin, banca vede că cardul utilizat pentru tranzacție și telefonul clientului sunt în același loc, banca poate concluziona că deținătorul cardului îl folosește. Datorită acestor avantaje ale Big Data, granițele depozitelor tradiționale de date sunt extinse.

Pentru a lua cu succes o decizie de implementare a soluțiilor Big Data, o companie trebuie să calculeze un caz de investiție, iar acest lucru provoacă mari dificultăți din cauza multor componente necunoscute. Paradoxul analizei în astfel de cazuri este prezicerea viitorului pe baza trecutului, date despre care adesea lipsesc. În acest caz, un factor important este planificarea clară a acțiunilor tale inițiale:

• În primul rând, este necesar să se determine o problemă specifică de afaceri pentru care vor fi utilizate tehnologiile Big Data; această sarcină va deveni nucleul determinării corectitudinii conceptului ales. Trebuie să vă concentrați pe colectarea de date legate de această sarcină specifică, iar în timpul probei conceptului, puteți utiliza diverse instrumente, procese și tehnici de management care vă vor permite să luați decizii mai informate în viitor.
• În al doilea rând, este puțin probabil ca o companie fără abilități și experiență de analiză a datelor să poată implementa cu succes un proiect Big Data. Cunoștințele necesare provin întotdeauna din experiența anterioară în analiză, care este principalul factor care influențează calitatea lucrului cu date. Cultura datelor este importantă, deoarece de multe ori analiza datelor dezvăluie adevăruri dure despre o afacere și este nevoie de practici de date pentru a accepta și a lucra cu acele adevăruri.
• În al treilea rând, valoarea tehnologiilor Big Data constă în furnizarea de perspective.Analiștii buni rămân insuficienti pe piață. Aceștia sunt de obicei numiți specialiști care au o înțelegere profundă a semnificației comerciale a datelor și știu să le folosească corect. Analiza datelor este un mijloc de a atinge obiectivele de afaceri, iar pentru a înțelege valoarea Big Data, trebuie să vă comportați în consecință și să vă înțelegeți acțiunile. În acest caz, big data va oferi o mulțime de informații utile despre consumatori, pe baza cărora se pot lua decizii utile pentru afaceri.

În ciuda faptului că piața rusă de Big Data abia începe să prindă contur, proiectele individuale în acest domeniu sunt deja implementate cu destul de mult succes. Unele dintre ele au succes în domeniul colectării datelor, cum ar fi proiecte pentru Serviciul Federal de Taxe și Tinkoff Credit Systems Bank, altele - în ceea ce privește analiza datelor și aplicarea practică a rezultatelor sale: acesta este proiectul Synqera.

Tinkoff Credit Systems Bank a implementat un proiect de implementare a platformei EMC2 Greenplum, care este un instrument de calcul masiv paralel. În ultimii ani, banca a crescut cerințele pentru viteza de procesare a informațiilor acumulate și de analiză a datelor în timp real, cauzate de rata mare de creștere a numărului de utilizatori de carduri de credit. Banca a anunțat planuri de extindere a utilizării tehnologiilor Big Data, în special pentru procesarea datelor nestructurate și lucrul cu informații corporative primite din diverse surse.

Serviciul Fiscal Federal al Rusiei creează în prezent un strat analitic pentru depozitul federal de date. Pe baza acestuia se creează un spațiu informațional unificat și o tehnologie de accesare a datelor fiscale pentru prelucrare statistică și analitică. Pe parcursul implementării proiectului, se lucrează la centralizarea informațiilor analitice din peste 1.200 de surse la nivel local al Serviciului Fiscal Federal.

Un alt exemplu interesant de analiză a datelor mari în timp real este startup-ul rus Synqera, care a dezvoltat platforma Simplate. Soluția se bazează pe procesarea unor cantități mari de date; programul analizează informații despre clienți, istoricul achizițiilor acestora, vârsta, sexul și chiar starea de spirit. Ecrane tactile cu senzori care recunosc emoțiile clienților au fost instalate la casele dintr-un lanț de magazine de cosmetice. Programul determină starea de spirit a unei persoane, analizează informații despre ea, determină ora din zi și scanează baza de date a reducerilor magazinului, după care trimite cumpărătorului mesaje direcționate despre promoții și oferte speciale. Această soluție crește loialitatea clienților și crește vânzările retailerilor.

Dacă vorbim de cazuri de succes din străinătate, atunci este interesantă în acest sens experiența utilizării tehnologiilor Big Data în compania Dunkin`Donuts, care folosește date în timp real pentru a vinde produse. Afișajele digitale din magazine afișează oferte care se modifică în fiecare minut, în funcție de ora din zi și de disponibilitatea produsului. Folosind chitanțele de numerar, compania primește date despre ofertele care au primit cel mai mare răspuns de la clienți. Această abordare de prelucrare a datelor ne-a permis să creștem profiturile și cifra de afaceri a mărfurilor din depozit.

După cum arată experiența implementării proiectelor Big Data, această zonă este concepută pentru a rezolva cu succes problemele de afaceri moderne. În același timp, un factor important în atingerea obiectivelor comerciale atunci când se lucrează cu Big Data este alegerea strategiei potrivite, care include analize care identifică nevoile consumatorilor, precum și utilizarea tehnologiilor inovatoare în domeniul Big Data.

Potrivit unui sondaj global realizat anual de Econsultancy și Adobe din 2012 în rândul agenților de marketing corporativ, „big data” care caracterizează acțiunile oamenilor pe internet pot face multe. Aceștia pot optimiza procesele de afaceri offline, pot ajuta la înțelegerea modului în care proprietarii de dispozitive mobile le folosesc pentru a căuta informații sau pur și simplu „îmbunătățesc marketingul”, de exemplu. mai eficient. Mai mult, această din urmă funcție devine din ce în ce mai populară de la an la an, după cum reiese din diagrama pe care am prezentat-o.

Principalele domenii de activitate ale agenților de marketing pe internet în ceea ce privește relațiile cu clienții

Sursă: Econsultancy și Adobe, publicate– emarketer.com

Rețineți că naționalitatea respondenților nu contează prea mult. După cum arată un sondaj realizat de KPMG în 2013, ponderea „optimiștilor”, adică. cei care folosesc Big Data atunci când elaborează o strategie de afaceri este de 56%, iar variațiile de la o regiune la alta sunt mici: de la 63% în țările din America de Nord la 50% în EMEA.

Utilizarea Big Data în diferite regiuni ale lumii

Sursă: KPMG, publicat– emarketer.com

Între timp, atitudinea agenților de marketing față de astfel de „tendințe de modă” amintește oarecum de o glumă binecunoscută:

Spune-mi, Vano, îți plac roșiile?
- Îmi place să mănânc, dar nu așa.

În ciuda faptului că marketerii „adoră” verbal Big Data și chiar par să le folosească, în realitate, „totul este complicat”, deoarece scriu despre afecțiunile lor sincere pe rețelele de socializare.

Potrivit unui sondaj realizat de Circle Research în ianuarie 2014 în rândul marketerilor europeni, 4 din 5 respondenți nu folosesc Big Data (deși, desigur, le „adoră”). Motivele sunt diferite. Sunt puțini sceptici inveterati - 17% și exact același număr ca și antipozii lor, adică. cei care răspund cu încredere: „Da”. Restul ezită și se îndoiește, „mlaștina”. Ei evită un răspuns direct sub pretexte plauzibile precum „nu încă, dar în curând” sau „vom aștepta până încep ceilalți”.

Utilizarea Big Data de către marketeri, Europa, ianuarie 2014

Sursă:dnx, publicat -emarketer.com

Ce îi încurcă? Prostii curate. Unii (exact jumătate dintre ei) pur și simplu nu cred aceste date. Alții (de asemenea, sunt destul de mulți dintre ei - 55%) le este dificil să coreleze seturi de „date” și „utilizatori” între ei. Unii oameni pur și simplu au (ca să spună corect din punct de vedere politic) o mizerie internă corporativă: datele rătăcesc nesupravegheate între departamentele de marketing și structurile IT. Pentru alții, software-ul nu poate face față afluxului de muncă. Și așa mai departe. Întrucât cotele totale depășesc semnificativ 100%, este clar că situația „barierelor multiple” nu este neobișnuită.

Bariere în calea utilizării Big Data în marketing

Sursă:dnx, publicat -emarketer.com

Astfel, trebuie să recunoaștem că, în timp ce „Big Data” este un potențial mare care trebuie să fie valorificat. Apropo, acesta poate fi motivul pentru care Big Data își pierde aureola unei „tendințe la modă”, după cum reiese din datele sondajului realizat de deja amintita companie Econsultancy.

Cele mai semnificative tendințe în marketing digital 2013-2014

Sursă: Econsultancy și Adobe

Ele sunt înlocuite de un alt rege - marketingul de conținut. Cât timp?

Nu se poate spune că Big Data este un fel de fenomen fundamental nou. Surse mari de date există de mulți ani: baze de date privind achizițiile clienților, istoriile de credit, stilul de viață. Și de ani de zile, oamenii de știință au folosit aceste date pentru a ajuta companiile să evalueze riscurile și să prezică nevoile viitoare ale clienților. Cu toate acestea, astăzi situația s-a schimbat în două aspecte:

Au apărut instrumente și tehnici mai sofisticate pentru a analiza și combina diferite seturi de date;

Aceste instrumente analitice sunt completate de o avalanșă de noi surse de date determinate de digitalizarea practic a tuturor metodelor de colectare și măsurare a datelor.

Gama de informații disponibile este atât inspiratoare, cât și descurajantă pentru cercetătorii crescuți în medii structurate de cercetare. Sentimentul consumatorilor este captat de site-uri web și de tot felul de rețele sociale. Faptul de a vizualiza o reclamă este înregistrat nu doar de decodificatoare, ci și cu ajutorul etichetelor digitale și a dispozitivelor mobile care comunică cu televizorul.

Datele comportamentale (cum ar fi volumul apelurilor, obiceiurile de cumpărături și achizițiile) sunt acum disponibile în timp real. Astfel, o mare parte din ceea ce putea fi obținut anterior prin cercetare poate fi acum învățat folosind surse de date mari. Și toate aceste active informaționale sunt generate în mod constant, indiferent de orice proces de cercetare. Aceste schimbări ne fac să ne întrebăm dacă datele mari pot înlocui studiile clasice de piață.

Nu este vorba despre date, ci despre întrebări și răspunsuri.

Înainte de a da glasul cercetării clasice, trebuie să ne reamintim că nu prezența anumitor active de date este esențială, ci altceva. Ce anume? Capacitatea noastră de a răspunde la întrebări, asta este. Un lucru amuzant despre noua lume a datelor mari este că rezultatele obținute din noile active de date conduc la și mai multe întrebări, iar la aceste întrebări, de obicei, cel mai bine este răspunsul cercetării tradiționale. Astfel, pe măsură ce big data crește, observăm o creștere paralelă a disponibilității și nevoii de „date mici” care pot oferi răspunsuri la întrebările din lumea datelor mari.

Luați în considerare situația: un agent de publicitate mare monitorizează continuu traficul în magazin și volumele vânzărilor în timp real. Metodologiile de cercetare existente (în care chestionăm jurnaliștii despre motivațiile lor de cumpărare și comportamentul la punctul de vânzare) ne ajută să vizăm mai bine anumite segmente de cumpărători. Aceste tehnici pot fi extinse pentru a include o gamă mai largă de active de date mari, până la punctul în care datele mari devin un mijloc de observare pasivă, iar cercetarea devine o metodă de investigare continuă, concentrată în mod restrâns, a schimbărilor sau evenimentelor care necesită studiu. Acesta este modul în care big data poate elibera cercetarea de rutina inutilă. Cercetarea primară nu mai trebuie să se concentreze pe ceea ce se întâmplă (datele mari vor face asta). În schimb, cercetarea primară se poate concentra pe explicarea de ce observăm anumite tendințe sau abateri de la tendințe. Cercetătorul se va putea gândi mai puțin la obținerea datelor și mai mult la modul în care să le analizeze și să le folosească.

În același timp, vedem că big data poate rezolva una dintre cele mai mari probleme ale noastre: problema studiilor prea lungi. Examinarea studiilor în sine a arătat că instrumentele de cercetare supra-umflate au un impact negativ asupra calității datelor. Deși mulți experți au recunoscut de mult această problemă, ei au răspuns invariabil cu fraza „Dar am nevoie de aceste informații pentru conducerea superioară”, iar interviurile lungi au continuat.

În lumea datelor mari, unde valorile cantitative pot fi obținute prin observație pasivă, această problemă devine discutabilă. Din nou, să ne gândim la toate aceste studii referitoare la consum. Dacă datele mari ne oferă o perspectivă asupra consumului prin observație pasivă, atunci cercetarea prin sondaj primar nu mai trebuie să colecteze acest tip de informații și, în sfârșit, ne putem susține viziunea despre sondaje scurte cu ceva mai mult decât iluzii.

Big Data are nevoie de ajutorul tău

În cele din urmă, „mare” este doar o caracteristică a datelor mari. Caracteristica „mare” se referă la dimensiunea și scara datelor. Desigur, aceasta este caracteristica principală, deoarece volumul acestor date depășește orice lucru cu care am lucrat înainte. Dar și alte caracteristici ale acestor noi fluxuri de date sunt, de asemenea, importante: sunt adesea prost formatate, nestructurate (sau, în cel mai bun caz, parțial structurate) și pline de incertitudine. Un domeniu în curs de dezvoltare al managementului datelor, denumit pe bună dreptate entity analytics, abordează problema de a reduce zgomotul în big data. Sarcina sa este să analizeze aceste seturi de date și să descopere câte observații se referă la aceeași persoană, care observații sunt actuale și care sunt utilizabile.

Acest tip de curățare a datelor este necesar pentru a elimina zgomotul sau datele eronate atunci când lucrați cu active de date mari sau mici, dar nu este suficient. De asemenea, trebuie să creăm context în jurul activelor de date mari pe baza experienței noastre anterioare, a analizelor și a cunoștințelor pe categorii. De fapt, mulți analiști indică capacitatea de a gestiona incertitudinea inerentă big data ca o sursă de avantaj competitiv, deoarece permite luarea unor decizii mai bune.

Aici cercetarea primară nu este doar eliberată de big data, dar contribuie și la crearea și analiza conținutului în cadrul datelor mari.

Un prim exemplu în acest sens este aplicarea noului nostru cadru fundamental diferit de capital de marcă pe rețelele sociale (vorbim despre dezvoltat înMillward Maroo nouă abordare pentru măsurarea echității mărciiThe Semnificativ Diferit Cadru– „Paradigma diferențelor semnificative” -R & T ). Modelul este testat comportamental pe piețe specifice, implementat în mod standard și poate fi aplicat cu ușurință în alte verticale de marketing și în sistemele informaționale de sprijinire a deciziilor. Cu alte cuvinte, modelul nostru de capital de marcă, bazat pe (deși nu se bazează exclusiv pe) cercetări prin sondaj, are toate caracteristicile necesare pentru a depăși natura nestructurată, dezarticulată și incertă a datelor mari.

Luați în considerare datele despre sentimentele consumatorilor furnizate de rețelele sociale. În formă brută, vârfurile și minimele sentimentului consumatorilor sunt foarte adesea corelate minim cu măsurile offline ale echității și comportamentului mărcii: pur și simplu există prea mult zgomot în date. Dar putem reduce acest zgomot aplicând modelele noastre de semnificație a consumatorilor, diferențierea mărcii, dinamica și caracterul distinctiv la datele brute despre sentimentele consumatorilor - o modalitate de procesare și agregare a datelor din rețelele sociale de-a lungul acestor dimensiuni.

Odată ce datele sunt organizate în conformitate cu cadrul nostru, tendințele identificate se aliniază de obicei cu echitatea mărcii offline și cu măsurile comportamentale. În esență, datele din rețelele sociale nu pot vorbi de la sine. Pentru a le folosi în acest scop este nevoie de experiența noastră și de modele construite în jurul mărcilor. Atunci când rețelele sociale ne oferă informații unice exprimate în limbajul pe care consumatorii îl folosesc pentru a descrie mărcile, trebuie să folosim acel limbaj atunci când creăm cercetarea noastră pentru a face cercetarea primară mult mai eficientă.

Beneficiile cercetării scutite

Acest lucru ne readuce la modul în care big data nu înlocuiește atât cercetarea, cât o eliberează. Cercetătorii vor fi eliberați de nevoia de a crea un nou studiu pentru fiecare caz nou. Activele de date mari în continuă creștere pot fi utilizate pentru diferite subiecte de cercetare, permițând cercetării primare ulterioare să aprofundeze subiectul și să umple golurile existente. Cercetătorii vor fi eliberați de a fi nevoiți să se bazeze pe sondaje supra-umflate. În schimb, pot folosi sondaje scurte și se pot concentra pe cei mai importanți parametri, ceea ce îmbunătățește calitatea datelor.

Cu această eliberare, cercetătorii vor putea să-și folosească principiile și ideile stabilite pentru a adăuga precizie și semnificație activelor de date mari, conducând la noi domenii pentru cercetarea prin sondaj. Acest ciclu ar trebui să conducă la o mai bună înțelegere a unei game de probleme strategice și, în cele din urmă, la o mișcare către ceea ce ar trebui să fie întotdeauna obiectivul nostru principal - de a informa și îmbunătăți calitatea deciziilor de brand și de comunicare.

Big data (sau Big Data) este un set de metode de lucru cu volume uriașe de informații structurate sau nestructurate. Specialiștii în big data le procesează și analizează pentru a obține rezultate vizuale, perceptibile de om. Look At Me a discutat cu profesioniști și a aflat care este situația cu procesarea datelor mari în Rusia, unde și ce este cel mai bine de studiat pentru cei care doresc să lucreze în acest domeniu.

Alexey Ryvkin despre principalele tendințe în domeniul big data, comunicarea cu clienții și lumea numerelor

Am studiat la Institutul de Tehnologie Electronică din Moscova. Principalul lucru pe care am reușit să-l iau de acolo au fost cunoștințele fundamentale în fizică și matematică. Concomitent cu studiile, am lucrat la centrul de cercetare și dezvoltare, unde am fost implicat în dezvoltarea și implementarea algoritmilor de codare rezistenți la zgomot pentru transmiterea securizată a datelor. După ce am terminat licența, am intrat la programul de master în informatică de afaceri la Școala Superioară de Științe Economice. După aceea am vrut să lucrez la IBS. Am avut noroc că la vremea aceea, datorită unui număr mare de proiecte, a existat o recrutare suplimentară de stagiari, iar după mai multe interviuri am început să lucrez la IBS, una dintre cele mai mari companii rusești în acest domeniu. În trei ani, am trecut de la stagiar la arhitect de soluții pentru întreprinderi. În prezent, dezvolt expertiză în tehnologiile Big Data pentru companii clienți din sectorul financiar și al telecomunicațiilor.

Există două specializări principale pentru persoanele care doresc să lucreze cu big data: analiștii și consultanții IT care creează tehnologii pentru a lucra cu big data. În plus, putem vorbi și despre profesia de Big Data Analyst, adică oameni care lucrează direct cu date, cu platforma IT a clientului. Anterior, aceștia erau analiști matematici obișnuiți care cunoșteau statistică și matematică și foloseau software statistic pentru a rezolva problemele de analiză a datelor. Astăzi, pe lângă cunoștințele de statistică și matematică, este necesară și înțelegerea tehnologiei și a ciclului de viață al datelor. Aceasta, după părerea mea, este diferența dintre analiștii de date moderni și acei analiști care au venit înainte.

Specializarea mea este consultanta IT, adica vin si ofer clientilor modalitati de rezolvare a problemelor de business folosind tehnologii IT. La consultanță vin persoane cu experiențe diferite, dar cele mai importante calități pentru această profesie sunt capacitatea de a înțelege nevoile clientului, dorința de a ajuta oamenii și organizațiile, bunele abilități de comunicare și echipă (din moment ce se lucrează mereu cu clientul și într-o echipă), bune abilități analitice. Motivația internă este foarte importantă: lucrăm într-un mediu competitiv, iar clientul așteaptă soluții neobișnuite și interes pentru muncă.

Cea mai mare parte a timpului meu o petrec comunicând cu clienții, formalizându-le nevoile de afaceri și ajutându-i să dezvolte cea mai potrivită arhitectură tehnologică. Criteriile de selecție aici au propria lor particularitate: pe lângă funcționalitate și TCO (costul total de proprietate), cerințele nefuncționale pentru sistem sunt foarte importante, cel mai adesea acestea sunt timpul de răspuns și timpul de procesare a informațiilor. Pentru a convinge clientul, folosim adesea o abordare a dovadă a conceptului - oferim să „testăm” tehnologia gratuit pe o anumită sarcină, pe un set restrâns de date, pentru a ne asigura că tehnologia funcționează. Soluția ar trebui să creeze un avantaj competitiv pentru client prin obținerea de beneficii suplimentare (de exemplu, vânzări x, vânzări încrucișate) sau să rezolve un fel de problemă de afaceri, să zicem, să reducă nivelul ridicat de fraudă a creditelor.

Ar fi mult mai ușor dacă clienții ar veni cu o sarcină gata făcută, dar până acum nu înțeleg că a apărut o tehnologie revoluționară care poate schimba piața în câțiva ani

Cu ce ​​probleme te confrunți? Piața nu este încă pregătită să folosească tehnologiile de date mari. Ar fi mult mai ușor dacă clienții ar veni cu o sarcină gata făcută, dar până acum nu înțeleg că a apărut o tehnologie revoluționară care poate schimba piața în câțiva ani. Acesta este motivul pentru care lucrăm în esență în modul de pornire - nu vindem doar tehnologii, ci de fiecare dată convingem clienții că trebuie să investească în aceste soluții. Aceasta este poziția vizionarilor - le arătăm clienților cum își pot schimba afacerea folosind date și IT. Creăm această nouă piață - piața de consultanță IT comercială în domeniul Big Data.

Dacă o persoană dorește să se angajeze în analiza datelor sau consultanță IT în domeniul Big Data, atunci primul lucru important este o educație matematică sau tehnică cu o bună pregătire matematică. De asemenea, este util să stăpânești tehnologii specifice, de exemplu SAS, Hadoop, limbajul R sau soluții IBM. În plus, trebuie să fiți interesat în mod activ de aplicațiile pentru Big Data - de exemplu, cum pot fi utilizate pentru a îmbunătăți scorul de credit într-o bancă sau managementul ciclului de viață al clienților. Aceasta și alte cunoștințe pot fi obținute din surse disponibile: de exemplu, Coursera și Big Data University. Există, de asemenea, Customer Analytics Initiative de la Universitatea Wharton din Pennsylvania, unde au fost publicate o mulțime de materiale interesante.

O problemă majoră pentru cei care doresc să lucreze în domeniul nostru este lipsa clară de informații despre Big Data. Nu poți să mergi la o librărie sau un site web și să obții, de exemplu, o colecție cuprinzătoare de cazuri despre toate aplicațiile tehnologiilor Big Data în bănci. Nu există astfel de directoare. O parte din informații se află în cărți, altele sunt culese la conferințe, iar altele trebuie să-ți dai seama singur.

O altă problemă este că analiștii se simt confortabil în lumea numerelor, dar nu sunt întotdeauna confortabili în afaceri. Acești oameni sunt adesea introvertiți și au dificultăți în comunicare, ceea ce le face dificil să comunice concluziile cercetării în mod convingător clienților. Pentru a dezvolta aceste abilități, aș recomanda cărți precum Principiul piramidei, Vorbiți limbajul diagramelor. Ele ajută la dezvoltarea abilităților de prezentare și la exprimarea concis și clar a gândurilor.

Participarea la diverse campionate de caz în timp ce studiam la Școala Superioară de Economie a Universității Naționale de Cercetare m-a ajutat foarte mult. Campionatele de caz sunt competiții intelectuale pentru studenți în care trebuie să studieze problemele de afaceri și să le propună soluții. Există două tipuri: campionate de caz ale firmelor de consultanță, de exemplu, McKinsey, BCG, Accenture, precum și campionate de caz independente, cum ar fi Changellenge. În timpul participării la acestea, am învățat să văd și să rezolv probleme complexe - de la identificarea unei probleme și structurarea acesteia până la apărarea recomandărilor pentru soluționarea acesteia.

Oleg Mikhalsky despre piața rusă și specificul creării unui nou produs în domeniul big data

Înainte de a mă alătura Acronis, eram deja implicat în lansarea de noi produse pe piață la alte companii. Este întotdeauna interesant și provocator în același timp, așa că am fost imediat interesat de oportunitatea de a lucra la servicii cloud și soluții de stocare a datelor. Toată experiența mea anterioară în industria IT, inclusiv propriul meu proiect de pornire I-accelerator, a fost utilă în acest domeniu. A ajutat, de asemenea, să ai o educație în afaceri (MBA) pe lângă o diplomă de bază de inginerie.

În Rusia, marile companii - bănci, operatori de telefonie mobilă etc. - au nevoie de analiză de big data, așa că la noi există perspective pentru cei care vor să lucreze în acest domeniu. Adevărat, multe proiecte acum sunt proiecte de integrare, adică realizate pe baza dezvoltărilor străine sau a tehnologiilor open source. În astfel de proiecte, nu sunt create abordări și tehnologii fundamental noi, ci mai degrabă sunt adaptate dezvoltările existente. La Acronis, am luat-o pe o altă cale și, după ce am analizat alternativele disponibile, am decis să investim în propria noastră dezvoltare, rezultând un sistem de stocare fiabil pentru big data, care nu este inferior ca cost, de exemplu, Amazon S3, dar funcționează fiabil. și eficient și la o scară semnificativ mai mică. Companiile mari de internet au, de asemenea, propriile evoluții în ceea ce privește datele mari, dar se concentrează mai mult pe nevoile interne decât pe nevoile clienților externi.

Este important să înțelegem tendințele și forțele economice care influențează domeniul big data. Pentru a face acest lucru, trebuie să citiți mult, să ascultați discursurile experților autorizați din industria IT și să participați la conferințe tematice. Acum aproape fiecare conferință are o secțiune despre Big Data, dar toți vorbesc despre asta dintr-un unghi diferit: din punct de vedere al tehnologiei, al afacerii sau al marketingului. Puteți merge pentru lucru pe proiect sau pentru un stagiu la o companie care conduce deja proiecte pe acest subiect. Dacă ești încrezător în abilitățile tale, atunci nu este prea târziu să organizezi un startup în domeniul Big Data.

Fără contact constant cu piața noua dezvoltare riscă să fie nerevendicată

Adevărat, atunci când sunteți responsabil pentru un produs nou, se petrece mult timp analizei pieței și comunicării cu potențiali clienți, parteneri și analiști profesioniști care știu multe despre clienți și nevoile acestora. Fără contact constant cu piața, o nouă dezvoltare riscă să fie nerevendicată. Există întotdeauna o mulțime de incertitudini: trebuie să vă dați seama cine vor fi primii care vor adopta, ce aveți de oferit și cum să atrageți apoi un public în masă. A doua cea mai importantă sarcină este de a formula și transmite dezvoltatorilor o viziune clară și holistică asupra produsului final pentru a-i motiva să lucreze în astfel de condiții când unele cerințe se mai pot schimba, iar prioritățile depind de feedback-ul venit de la primii clienți. Prin urmare, o sarcină importantă este gestionarea așteptărilor clienților, pe de o parte, și dezvoltatorilor, pe de altă parte. Pentru ca nici unul, nici celălalt să nu-și piardă interesul și să ducă proiectul la final. După primul proiect de succes, devine mai ușor și principala provocare va fi găsirea modelului de creștere potrivit pentru noua afacere.