Vrijeme čitanja: 7 minuta

Prikupljanje baze podataka pomoću Facebooka ponekad je isplativije i praktičnije od korištenja web stranice. A kao dodatni izvor potencijalnih klijenata, društvene mreže su idealna platforma. Facebook ima alat koji prikuplja kontakte kupaca putem oglasa. Prednost ove metode je što klijent ne mora da unosi milion polja, sistem će automatski izvući email, broj telefona, ime i sve druge informacije iz Facebook baze podataka. Odnosno, klijent vidi oglas, klikne, pojavljuje se već popunjen obrazac - ostaje samo da klikne na dugme za slanje.

Bazu prikupljamo putem društvenih mreža

Niko ne bira između kanala komunikacije sa klijentom. Instagram, Vkontakte, Facebook, Telegram, YouTube chat botovi i drugi - brendovi komuniciraju sa klijentom na svim mogućim platformama. Marketeri koriste svaku priliku dodatnog "dodira" ". Stoga je važno da oglašavanje, mailing i društvene mreže rade zajedno i pomažu, a ne ometaju jedni druge.

Na primjer, već je teško pronaći email koji ne uključuje dugmad društvenih medija s pozivom na pretplatu.

Aviasales

S druge strane, društvene mreže su odličan način da privučete čitatelje na svoju mailing listu. Zašto? Objave u chatovima ili na stranicama ne mogu biti dugačke, teško ih je ispuniti uputama sa snimkama ekrana, video nije uvijek zgodno gledati sa zvukom - postoje ograničenja na svakom kanalu.

Pismo se može odložiti i pročitati u pogodnijem trenutku. U njega možete dodati bilo koju informaciju sa oznakama robe - to je kada se neke informacije o klijentu izvlače iz vaše baze podataka. Na primjer, koliko je dana prošlo od posljednje kupovine ili koliko je novih riječi naučio sa vašeg platoa.

Facebook publika

Postavite oglase po principu "negdje neka stigne" „Loša priča. Razmislite da li poznajete svoju ciljnu publiku ili želite široko ciljanje. Ako odaberete ovo drugo, Facebook-ovi algoritmi će sami tražiti “vaše” kupce.

Ako želite sami postaviti ciljanje, onda morate kopati dublje.Prilagođena publika na Facebooku se dijeli na:

Ili kreirajte sličnu publiku - algoritam će tražiti ljude na osnovu karakteristika koje odgovaraju vašim klijentima ili potencijalnim klijentima. To može biti geografska, starost, interesi - bilo koji parametri koje navedete.

Opcije ciljanja su višestruke i možete raditi sa svakom publikom posebno. Kreirajte personalizirane oglase i dajte personalizirane ponude svakom potencijalnom kupcu.

Kako postaviti Facebook obrazac za prikupljanje potencijalnih kupaca?

U prvom koraku postavljanja Facebook oglasa kliknite na "Lead Generation". Unesite naziv kampanje. U sljedećem koraku prihvaćamo uvjete korištenja oglašavanja za generiranje potencijalnih klijenata (ako ih ovdje ne pronađete veza ).

Zatim postavite kojoj će publici oglas biti emitiran... Što se plasmana tiče, ne preporučujemo oglašavanje na Instagramu, jer se tamo obrazac za prikupljanje prikazuje "krivo" i samo nervira korisnike.

Sada kreiramo obrazac za prikupljanje podataka. Kreira se i uređuje u koraku 3 kreiranja oglasa. Kliknite na "Obrazac za generiranje potencijalnih kupaca".

Koji se podaci mogu izvući odatle:

kontakt informacije (telefon, email, ime, grad, itd.)
demografski podaci (datum rođenja, pol, bračno stanje, itd.)
informacije o poslu (pozicija, firma)
kao i vaša pitanja (kratki i alternativni odgovori, datum posjete, na primjer, za područja iz HoReCa).

Ali mi smo poštanski servis

Stoga, morate dobiti potencijalne klijente da biste pali na mailing listu. Za integraciju sa Facebook-om koristimo Zapier service. Mailgen ima potpunu integraciju sa ovim alatom.

Često će prosječan korisnik završiti čitanje u ovom trenutku. Budući da riječi integracija, API, ključevi, webhookovi samo odbijaju. Postoji izlaz. Zato je i napisan ovaj članak :)

Kako integrirati Facebook i Mailigen

Za ovo nam je potrebno:

Idi!

Prvo, na glavnoj stranici trebate odabrati Facebook Lead Ads i Mailigen kao usluge s kojima ćemo raditi:

Ispod će nam biti prikazana jedina aplikacija za njihovu kombinaciju:

Kliknite na ovaj zap i idite direktno na popunjavanje.

Pošto smo odabrali usluge sa kojima ćemo raditi - prva dva koraka su nam već popunjena, samo kliknite na "Nastavi" i idite na treći korak: dodavanje Facebook naloga.

Kliknite na dugme "Poveži nalog" i izdajte potrebna odobrenja u ime svog profila za administrativna prava na Facebook stranicu kompanije i Facebook Lead Ads (Važno!)

Račun je dodan na listu. Odaberite ga i kliknite na "Nastavi".

Četvrti korak vam omogućava da odaberete stranicu kompanije i obrazac za pretplatu na Facebook Lead Ads koji će prenijeti podatke na Mailgen:

Ako ne možete vidjeti stranicu ili obrazac koji želite, provjerite svoj pristup stranici i Facebook Lead Ads.

Na sljedećoj stranici možete provjeriti kreiranje potencijalnih klijenata i da li je sve ispravno konfigurirano. Kreirajte probni potencijal i provjerite kako funkcioniraju integracije Facebook Lead Ads-a:

Sljedeća stavka je postavljanje integracije sa Mailgenom. Prva dva koraka su već završena za nas, baš kao i za Facebook Lead Ads, pa idemo na dodavanje Mailigen naloga. Od vas će se tražiti da unesete API ključ, pročitajte kako ga dobiti.

Nakon što unesete ključ, potvrdite ga i odaberete željeni račun, idite na sljedeći korak, gdje možete konfigurirati koju listu, s kojim opcijama (na primjer, sa ili bez dvostruke potvrde) i u koja polja učitati primljene podatke:

Ako je probni potencijal kreiran iz Facebook Lead Ads-a, tada se polja mogu odabrati direktno sa vrijednostima testnog potencijalnog klijenta, kako se ne bi pogriješili.

Kada završite s postavljanjem svih polja, prijeđite na sljedeći korak i testirajte dodavanje probnog vodiča u Mailigen.

Ako je test bio uspješan, čestitamo, vaša prva aplikacija je spremna za rad, pokrenite je!

To je sve. Sada imate funkcionalni paket vaših Facebook i Mailigen oglasa. I plašio si se. Iskoristite ga za svoje zdravlje!

Iako Facebook gubi u odnosu na društvene mreže kao što su Vkontakte i Odnoklassniki u pogledu rasprostranjenosti među publikom koja govori ruski, on je i dalje veoma popularna platforma za društvene aktivnosti na Internetu. Ali ne znaju svi kako ova društvena mreža zapravo koristi informacije o svojim korisnicima. Zatim ćemo vam reći kako nas ovaj resurs prati i šta je potrebno učiniti da zaštitimo vaše lične podatke.

Kako nas Facebook prati

Predstavnici ove svjetske društvene mreže su 2014. godine izvijestili da njihovi serveri svakodnevno primaju približno 600 terabajta podataka - sa ovom količinom informacija moglo bi se uporediti 193 miliona primjeraka knjige "Rat i mir". Prošlo je nekoliko godina, a nema sumnje da se dnevni obim podataka od tada značajno povećao. Zamislite koliko ličnih podataka posjeduje ova kompanija!

“Pa, koje stvari društvene mreže mogu naučiti o meni? Ja sam građanin koji poštuje zakon i nemam šta da krijem “, misli običan korisnik i automatski označi polje ispod stavke koja opisuje politiku privatnosti resursa. Ali čak i da su svi pročitali ovaj dokument, neke informacije o korištenju ličnih podataka i dalje ostaju, takoreći, "između redova".

Šta je tačno Facebook naučio da proučava lične podatke korisnika? Mnogo više nego što mislite!

Vidi da će korisnici pisati

Možda najzanimljivije, pa čak i kompromitujuće informacije sadržane su u porukama koje smo otkucali u žaru trenutka, a iz raznih razloga nismo poslali, ili ih prepisali drugačije. I nemojte misliti da to niko osim vas nije vidio!

Društvena mreža je zapravo i sama progovorila o ovoj "vještini", objavivši vlastitu studiju o autocenzuri ("Selfcensorship on Facebook", 2013), koja je objasnila zašto i kako korisnici ispravljaju svoje objave prije objavljivanja. Ispostavilo se da je sistem sposoban da registruje pritiske na tastere tokom kucanja. Ispostavilo se da jednom upisani lični podaci mogu već ostati u bazi podataka društvene mreže, čak i ako ih izbrišete.

Prenosi lične podatke trećim licima

Facebook tajno ispituje neposlane podatke kako bi sastavio portret ličnosti korisnika, ali resurs može koristiti već objavljene informacije kako je obećano u ugovoru o licenci. I to ne uključuje samo istraživanje ličnosti i svako sopstveno istraživanje – sistem prenosi vaše lične podatke marketinškim kompanijama i američkoj vladi.

Imajte na umu: čak i ako niste naveli broj svog mobilnog telefona ili e-mail adresu u svom profilu, ali su neki od vaših prijatelja pokušali da vas pronađu koristeći ove podatke, sistem već zna ove informacije.

Osim toga, društvena mreža također surađuje s drugim stranicama koje posjećujete kako bi prikupila informacije koje nedostaju, na primjer, o vašem prihodu, ponašanju na mreži, itd., a zatim prilagođava feed vijesti kako biste promovirali ciljano oglašavanje.

Pokušava identificirati lice korisnika

On vas posmatra čak i kada ste van mreže

I ovdje se osjeti nepažljivo pročitana Politika privatnosti ove stranice, koja jasno kaže da:

Sistem je u mogućnosti da prikuplja lične podatke na ovaj način koristeći tehnologiju jedinstvene prijave i kolačiće. Osim toga, društvena mreža pokušava ili je već naučila pratiti kretanje kursora na ekranu.

Koja je glavna opasnost korištenja Facebooka

Kao što smo već spomenuli, pored postavljanja relevantnih objava, oglašavanja i prodaje, lični podaci korisnika se prenose vladi SAD, na čijoj teritoriji je društvena mreža registrovana. Ali moć zemalja nije koncentrisana u rukama predsednika, premijera i drugih zvaničnika – pored njih postoji i tajna grupa moćnih predstavnika najbogatijih klanova na svetu koji kontrolišu sve vrste industrije, bankarski sistem , teritorijalne granice ... Ova grupa se označava terminom "svetska vlada" ...

Njegov cilj je uspostavljanje novog svjetskog poretka, koji podrazumijeva potpunu kontrolu nad stanovništvom planete i svim sferama njenog života. Krajnji alat za upravljanje osobom treba da bude nanočip, ili laserski nanomark, nanesen na čelo ili desnu ruku, koji će, prema Otkrivenju Svetog Apostola Jovana Bogoslova (Otkr. 13:15-18), označavati dolazak antihrista. A međufaza je samo dodjela digitalnih identifikatora stanovništvu (INN, SNILS), uvođenje UEC i biometrijskih pasoša, kao i samo prikupljanje i obrada ličnih podataka.

Zaštita ličnih podataka na Facebooku

Jedina održiva opcija u ovoj situaciji bila bi potpuno odbacivanje društvenih mreža. Ali ako to još nije moguće, barem pokušajte da kršenje vaših osobnih podataka svedete na minimum, pridržavajući se sljedećih pravila:

Nažalost, ne može nas pratiti samo društvena mreža, već i operativni sistem - pogledajte sami kako Windows 10 koristi naše lične podatke:

Uzmite to za sebe, recite prijateljima!

Pročitajte i na našoj web stranici:

pokazati više

Ne mreža, već sito

Prije početka skandala, informacije o tome kako aplikacije trećih strana koriste lične podatke korisnika Facebooka bile su sadržane u politici privatnosti kompanije u prilično teško razumljivom obliku. Čak je i sam Zuckerberg u Kongresu rekao da većina publike ne čita ovaj dokument ili se ne upušta u ono što piše. Kompanija je odmah nakon početka istrage počela da objašnjava šta sve dobijaju treće strane i obećala da će pooštriti pravila za pristup informacijama za potonje. Iz jednog od ovih Facebook objašnjenja slijedi:

Do sada je svaki korisnik mogao pronaći osobu koja mu je potrebna unošenjem njenog broja telefona ili e-pošte u traku za pretragu. Ovu funkciju su mogli koristiti i sajber kriminalci.
Facebook je zadržao istoriju poziva i prepiske vlasnika Android pametnih telefona sa instaliranim aplikacijama Facebook Messenger i Facebook Lite. Kompanija je obećala da će analizirati ovu funkciju kako bi bila sigurna da poruke samih korisnika nisu pohranjene. Zuckerberg je opovrgnuo jedan od popularnih mitova o mogućnosti prisluškivanja razgovora korisnika i potom prikazivanja ciljanih reklama (klijenti su došli do ovog zaključka, budući da pri instaliranju aplikacije na pametnom telefonu društvena mreža traži pristup mikrofonu): pristup mikrofonu je potrebno samo za ispravnu reprodukciju video zapisa.
Administratori i članovi zatvorenih grupa mogli bi aplikacijama trećih strana omogućiti pristup listi članova grupe i njihovim ličnim podacima (imena, fotografije priložene objavama, komentari na njih).
Aplikacije trećih strana mogu čitati bilo koje objave i komentare na njih preko API-ja (programskog interfejsa) stranica.
Do 2014. aplikacije trećih strana mogle su od Facebooka tražiti informacije ne samo o samom korisniku, već i o njegovim prijateljima. Nakon unošenja izmjena, aplikacije mogu primati informacije samo o onim prijateljima koji su pristali da ih prenesu. U martu 2018., Facebook je također najavio da će opozvati korisniku dozvolu za prikupljanje informacija ako se aplikacija ne koristi duže od tri mjeseca.

Facebook trenutno prikuplja dvije vrste podataka. Prvi su informacije koje sami ljudi objavljuju na društvenoj mreži: fotografije, objave itd. Drugi su oni koji su neophodni za ciljano oglašavanje. Da bi poboljšao svoju efikasnost, Facebook takođe kupuje usluge brokera informacija (data-brokera). Potonji prikuplja informacije iz mnogih izvora - platformi kao što su Google, Amazon i Facebook, kao i kompanija koje posluju u industrijama koje se odnose na korištenje podataka o ljudima (mediji, maloprodaja, telekomunikacije i finansije) - i pruža drugim kompanijama usluge vezane za na ciljano oglašavanje i bodovanje - provjeravanje zajmoprimaca banaka i klijenata osiguravajućih društava. Prema izvještaju istraživačkog instituta Cracked Labs, Facebook je u 2017. imao šest takvih partnera: Acxiom, Epsilon, Experian, Oracle, CCC Marketing i Quantium. Oni su pomogli platformi da bolje sortira i klasifikuje svoje korisnike.

Foto: David Paul Morris / Bloomberg

Facebook ne prodaje niti prenosi korisničke podatke oglašivačima. Kako je objasnila predstavnica društvene mreže, oni ih analiziraju, a zatim ih kategoriziraju prema svojim preferencijama. Ako oglašivač želi da njihov oglas vide "žene biciklista iz Atlante", Facebook će prikazivati oglase toj kategoriji korisnika bez dijeljenja njihovih podataka s trećim stranama. Izveštaji za oglašivače sadrže samo generalizovane podatke o tome koliko je reklama bila uspešna – koliko je ljudi i kog pola kliknulo na baner i druge statistike.

Što web stranice i aplikacije trećih strana rade s javnim informacijama korisnika Facebooka nije pouzdano poznato. Jasno je samo da ove informacije prikupljaju mnoge kompanije.

Testirajte

Ne samo da je Alexander Kogan koristio testove za prikupljanje informacija na Facebooku, već to rade i mnogi programeri. RBC je analizirao politiku privatnosti nekih od njih.

Nametests.com

Sajt Nametests.com u vlasništvu Socialsweethearts (nudi testove "Šta je april pripremio za vas?", "Kako izgleda vaš idealan partner?" Korisnik je saglasan da dijeli informacije o svom javnom profilu, listi prijatelja, email adresi i lajkovima. U politici privatnosti kompanije stoji da ona pohranjuje tražene informacije u anonimnom obliku i koristi ih za prikupljanje statistike i poboljšanje stranice. Korištenje podataka bez anonimizacije dozvoljeno je samo u slučajevima predviđenim zakonom, kao i u svrhe potrebne za osiguranje funkcionisanja servisa, sigurnost i optimizaciju, navedeno je u dokumentima Socialsweethearta.

Nakon brisanja naloga, korisnički podaci će također biti izbrisani, prema glasnogovorniku Socialsweethearts. “Ne analiziramo i ne sprovodimo istraživanje podataka u političke i druge slične svrhe, a ne sarađujemo ni sa kompanijama ili organizacijama koje se bave takvim istraživanjima”, rekao je on.

Prema njegovim riječima, sada se Socialsweethearts pripremaju za usklađivanje sa Općom uredbom o zaštiti podataka (GDPR), koja će u Evropskoj uniji stupiti na snagu 25. maja 2018. godine. "Shvatamo, s obzirom na vijesti oko Facebooka, da je povjerenje korisnika [u sigurnost njihovih ličnih podataka] veoma važno i da u isto vrijeme procesi povezani s njihovim ličnim podacima trebaju biti transparentni", kaže glasnogovornik Socialsweethearts .

Playbuzz

Za uvođenje GDPR-a priprema se i Playbuzz, koji posjeduje i web stranicu sa testovima, rekao je predstavnik ove kompanije. Trenutna verzija Playbuzzove politike privatnosti navodi da platforma može prikupljati lične podatke koji se unose prilikom registracije; informacije o uređaju s kojeg korisnik posjećuje stranicu; kao i odgovore sa položenih testova. Osim toga, Playbuzz prikuplja lične podatke od korisnika od trećih strana u marketinške svrhe, a također može prenijeti anonimizirane informacije o ljudima u generaliziranom obliku svojim partnerima u svrhe oglašavanja.

Predstavnik Playbuzz-a je napomenuo da zbog činjenice da je sadržaj platforme monetiziran, neki od partnera kompanije, kao i provajderi trećih strana (kao što su usluge otkrivanja prijevara), mogu prikupljati podatke od nekih krajnjih korisnika (na primjer, IP adrese). "Ovi podaci nisu dostupni Playbuzzu i nisu pohranjeni na našim serverima", dodao je.

Čak i ako korisnik izbriše svoju stranicu na stranici, Playbuzz zadržava pravo da prenese njegove lične podatke trećim stranama, svojim poslovnim partnerima, u nemarketinške svrhe (na primjer, da kontaktira korisnika).

Mediji za pad mozga

Ugovor o usluzi Brainfall Media (koji se bavi online istraživanjem i prikuplja lične podatke na Facebooku) kaže da kompanija smatra podatke o korisnicima poslovnom imovinom i ima pravo da ih prenese trećim licima uz pristanak korisnika. Kompanija nije odgovorila na zahtjev RBC-a.

Špijuni na pametnim telefonima

Web stranice sa praćenjem posjeta i mobilnim aplikacijama su crne rupe: niko ne može istinski procijeniti s kim dijeli podatke, prema studiji Cracked Labs. Godine 2015., istraživanje popularnih aplikacija u Australiji, Brazilu, Njemačkoj i Sjedinjenim Državama koje su proveli NICTA istraživački centar i Univerzitet Novog Južnog Walesa pokazalo je da 85-95% besplatnih i do 60% plaćenih aplikacija prikuplja korisničke podatke za u korist trećih lica. Novinari RBC-a analizirali su aplikacije koje su prikupljale informacije sa njihovih Facebook naloga. Među njima su bili i programi nekoliko poznatih programera.

„Pristup opštim informacijama o profilu i adresi e-pošte omogućen je automatski svim akreditovanim aplikacijama. Dozvola za traženje ovih podataka je uključena u minimalni osnovni set Facebook-a za programere aplikacija, a društvena mreža nema uži zahtjev“, objasnio je za RBC Stepan Danilov, osnivač i izvršni direktor MeYou mrežnog servisa. Osnovne dozvole ne zahtijevaju verifikaciju programera, ali svi ostali koji traže više informacija to zahtijevaju, prema Facebookovoj "pomoći za dozvole" za programere.

Aplikacije od programera Rambler Grupe, kao što su LiveJournal i Afisha-eda, takođe su zahtevale informacije o korisnikovom gradu stanovanja i rodnom gradu, kao i pristup publikacijama u hronici. Predstavnik press službe Rambler grupe objasnio je da se klijenti njihovih medijskih resursa mogu prijaviti, uključujući i preko Facebooka. Ovaj način autorizacije vam omogućava da u potpunosti koristite mogućnosti aplikacija, na primjer, učestvujete u anketama, ostavljate komentare itd. „Sa naše strane, dobijamo potencijalnu priliku da radimo sa BigData i, u budućnosti, postavimo „pametno ciljanje“, povećavajući efikasnost interakcije sa medijima za oglašavanje i za korisnike i za oglašivače. U idealnom slučaju, ljudi su spremni za interakciju isključivo s reklamama koje bi ih mogle potencijalno zanimati. S druge strane, oglašivač stupa u kontakt s potencijalno visoko motiviranim korisnikom - dodao je.

Aplikacija Amediateka TV show, između ostalog, dobija pristup listi prijatelja klijenta. „Lista prijatelja se trenutno ne koristi, ali ima za cilj da ažurira sistem preporuka na osnovu interesovanja prijatelja korisnika“, rekla je Milana Bogatyreva, predstavnica Amedia TV.

Neke aplikacije su tražile pristup ažuriranjima statusa, fotografijama i video zapisima korisnika Facebooka. Na primjer, TripAdvisor. Aplikacija Nokia imala je pristup, između ostalog, podacima o bračnom statusu, poslovima, preferencijama, obrazovanju, vjerskim i političkim uvjerenjima i drugim informacijama. Predstavnici TripAdvisora i HMD Globala (vlasnik prava na brend Nokia) nisu odgovorili na pitanja RBC-a.

Prilagođeni kolekcionari duša

Facebook nije glavni izvor podataka korisnika. U studiji Cracked Labs, brokeri informacija su identifikovani kao glavni izvori. Stručnjaci Cracked Labs-a naveli su Acxiom i Oracle kao najveće takve kompanije. Na primjer, Acxiom je decenijama prikupljao podatke o potrošačima iz javnih izvora: telefonskih imenika, sudskih evidencija, krivičnih prijava, raznih registara, upitnika, anketa itd. Kasnije su tome dodani digitalni izvori, na primjer, velike IT kompanije, čije softver vam omogućava da analizirate telefonske razgovore, finansijske transakcije, internet aktivnosti, itd. da biste identifikovali kriminalne i terorističke aktivnosti.

Osim toga, Acxiom je partner s Ibottom (prikuplja podatke o kupovini koristeći informacije s kartica lojalnosti ili računa), Samba TV (prikuplja podatke o gledanju TV-a putem programa instaliranih na set-top box-ovima ili video-on-demand platformama), Crossix-om (prikuplja medicinske informacije, uključujući anamnezu, preglede kod doktora, recepte itd.), FreckleIOT (podaci o lokaciji osobe u realnom vremenu: u raznim prodavnicama, aerodromima, barovima itd., mogu se instalirati posebni senzori sa kojima može komunicirati sa pametnim telefonom korisnika i šalju informacije) i druge kompanije koje uglavnom posluju u Sjedinjenim Državama. Acxiom pohranjuje ove informacije u obliku jedinstvenog anonimnog ID-a - vrste koda koji je povezan s poštanskom adresom, telefonskim brojem, e-poštom, IP adresom, geolokacijom, kolačićem, ID-om uređaja. Svakom jedinstvenom ID Acxiomu je dodijeljeno nekoliko kategorija kojima osoba odgovara. Klijent može dati Acxiomu e-poštu potrošača i zatražiti informacije o tome koje kategorije broker informacija kategorizira.

Ne postoji jedinstven sistem za procjenu veličine tržišta korisničkih podataka. Prema studiji 451 Research, samo obim globalnog tržišta podataka telekomunikacijskih kompanija u 2015. iznosio je 24 milijarde dolara, a do 2020. trebao bi porasti na 79 milijardi dolara Mobilni operateri u najmanje deset zemalja (Rusija nije bila među njih) uočeni su u tome što je instaliran poseban mehanizam za praćenje ponašanja pretplatnika prilikom surfanja internetom. Štoviše, surferi nisu mogli blokirati takve "super-kolačiće".

Iako se korisnički podaci trenutno koriste za prodaju ciljanih oglasa i bodovanje, u budućnosti bi mogli pronaći druge, manje sigurne upotrebe. Na primjer, podaci se mogu koristiti za dinamičku promjenu cijena robe na web stranici internet trgovine, ovisno o tome tko je posjećuje. To može biti ili smanjenje cijene, ako sistem smatra ovog korisnika vrijednim potrošačem za kompaniju na duži rok, ili povećanje u zavisnosti od toga koliko je određeni korisnik spreman da plati za artikl u ovom trenutku. Uz pomoć personalizacije, kompanije mogu pokušati utjecati na ponašanje potrošača, pokazati mu reklame u određenom trenutku kako bi on obavio kupovinu.

Facebook je pravi fenomen. Najveća društvena mreža na svijetu procjenjuje se na sto milijardi dolara. Ima preko milijardu korisnika. Ali pohranjivanje podataka, fotografija i poruka za više od sedme svjetske populacije zahtijeva naprednu tehnologiju. Kako se to radi?

Sjeverna Kalifornija. Dolina kompjuterskih divova. Evo imena koje privlači najviše turista - Facebook.

Ova društvena mreža, koju su izmislili studenti Harvarda 2004. godine, omogućava vašim prijateljima da znaju šta radite jednim klikom miša. Za mnoge, nema ništa bolje od mrežne komunikacije. Osam godina nakon rođenja kompanije, izašla je na berzu sa nevjerovatnih 104 milijarde dolara. Primjetno je da su Facebook kreirali studenti. Sve rade na svoj način. Grafiti i ekran osjetljiv na dodir po cijelom zidu. Automati prodaju kutije s napravama umjesto limenki pića. Otvoreni barovi i video igrice za osoblje sa prosječnom godinom od 26 godina. Izgleda da je ovo čudno okruženje na djelu. Ljudi iz cijelog svijeta posjećuju Facebook. Svakih šest mjeseci njihov broj se povećava za 100 miliona. Obrada ličnih podataka tolikog broja ljudi nije lak zadatak.

Zaposlenik kompanije kaže: „Imamo jednog inženjera na svaki milion korisnika. Radimo u neviđenim razmjerima."

Ne mogu iskoristiti tuđe iskustvo. Jer ranije nijedan sajt nije imao toliki broj posetilaca. A kada imate više korisnika nego mašina u svijetu, jedna od najvećih briga je skladištenje. Tvrdi disk vašeg laptopa stane u vašu ruku. Ovdje je potrebno nešto veće.

U Primevilleu u Oregonu postoji ogroman data centar - 28.000 kvadratnih metara.

To je kao memorijski štap veličine tri fudbalska igrališta, vrijedan stotine miliona dolara. Ovdje se pohranjuju vaši podaci. Na najnovijim serverima, u ogromnim memorijskim bankama, između kojih podaci putuju brzinom svjetlosti preko optičkih kablova dugih skoro 6,5 hiljada kilometara. Kaže Cam Patchet, generalni menadžer data centra: „Kada unesete adresu facebook.com, vaš zahtjev ide na Internet, a zatim ovdje, i ovdje, traži se jedan od Facebook servera. Vaš profil, sve podatke povezane s njim, obrađuju i sastavljaju naši podatkovni centri, te vam ih vraćaju putem interneta. Sve se ovo dešava u milisekundama. Neki ljudi misle o Internetu kao nečemu poput oblaka koji lebdi na nebu. Ali ne, to je materijalna stvar. Internet su računari, serveri i data centri povezani kilometrima kabla širom sveta. Sve ove jedinice mogu međusobno komunicirati i dijeliti podatke."

Ako želite vizualizirati internet, ovi beskrajni redovi servera su odlična ilustracija. U poređenju sa ovim mestom, superkompjuter izgleda kao džepni kalkulator. Napaja se sa 30 megavata struje, tako da je struja uvijek dostupna.

Ali baš kao što nemate rezervnu kopiju podataka vašeg računara, nestanak struje ovdje može biti katastrofa. Za milione tinejdžera svijet bez društvenih mreža je jednostavno nezamisliv. Dakle, spremni su ogromni dizel generatori. U slučaju da se glavni vod u zgradi isključi, ovi generatori će se uključiti. Zaposleni ih stalno prate. Proizvode po 3 megavata, a ima ih 14.

Još jedan problem: cijela ova tehnika stvara ogromnu količinu topline. Bez hlađenja, ovi serveri će otkazati. Procesor kućnog računara se hladi hladnjakom malo većim od kutije šibica.

Ovdje za to postoji opsežan penthouse sa sedam soba - moderan sistem prirodne klimatizacije. Hladan vazduh iz visoravni Oregona se uvlači, filtrira i meša sa toplim vazduhom kako bi se regulisala temperatura u data centru.

Suspendirana voda, koja se raspršuje mlaznicama, kontrolira vlažnost.

Ohlađeni zrak se dovodi sa stražnje strane servera kako bi se spriječilo pregrijavanje. I konačno, višak toplog vazduha izvlače ogromni ventilatori, sto puta veći od onog kod kućnog računara.

Uskoro će biti potrebno još fanova jer društvena mreža upravo ključa. Skoro 600 miliona ljudi poseti sajt svakog dana. Ovo je skoro duplo više od populacije Sjedinjenih Država. I stranica nastavlja rasti. Hiljadu novih servera se dovede ovdje svaki dan. Tom Furlong je zadužen za data centre. Kada sam počeo raditi prije 4,5 godine, kaže, imali smo 27 miliona korisnika i nekoliko hiljada servera. Danas imamo hiljadu servera, a ja sam to jedva primijetio.

Ogromni kamioni dolaze ovamo. Ne dostavljaju hranu. Oni unose sve više serverske memorije. Većina nas poznaje gigabajte i terabajte. Ovdje račun ide u petabajte. Više od 100 petabajta fotografija i video zapisa pohranjeno je na Facebook serverima, a svakim danom ih je sve više. Ovo je nevjerovatna količina informacija.

Svaki dan, data centar prima 100.000 puta više podataka nego što tvrdi disk naprednog personalnog računara može da primi. Svaki serverski rack ima 500 terabajta, više od 130 milijardi puta više od Appleovog prvog računara. A ako se server pokvari, tehničari poput Davida Gaylarda imaju zadatak da pronađu iglu u digitalnom plastu sijena.

Tvrdi disk je pokvaren i on kreće u potragu za pravim stalkom u labirintu servera koji bruje. Nakon što pronađe brojač, David zamjenjuje cijelu ploču za vrijeme koje vam je potrebno da ažurirate status. Ali David i druge tehnike nisu svemoćni. Širom svijeta, skoro 2,5 milijardi ljudi ima pristup internetu. I svi provode 20% svog vremena na mreži na društvenim mrežama, postavljajući stotine miliona fotografija, objava i ažuriranja svakog dana. S takvom aktivnošću, čak i u tako ogromnom podatkovnom centru, prostor ponestaje. Građevinari već rade na povećanju kapaciteta. Ali s ovim razmjerom mrežne aktivnosti, bolje bi bilo da požure.

Film "Društvena mreža" dobra je ilustracija fenomena razvoja Facebooka,
koji je u rekordnom roku uspio okupiti fantastičnu, do tada nezamislivu publiku.
Međutim, još jedna komponenta projekta ostala je iza kulisa – kako funkcionira.
iznutra. Njegov tehnički uređaj.

Šta je sada Facebook? To najbolje pokazuju suhi brojevi:

500.000.000 aktivnih korisnika (mjesečna publika);
200.000.000.000 pregleda stranica mjesečno;
150.000.000 keš pogodaka u sekundi;
2.000.000.000.000 objekata u kešu;
20.000.000.000 fotografija u 4 rezolucije. Bili bi dovoljni
pokrijte površinu zemlje u 10 slojeva - ovo je više od svih ostalih
foto resursi kombinovani;
više od 1.000.000.000 chat poruka svaki dan;
više od 100 miliona upita za pretragu dnevno;
više od 400.000 programera aplikacija trećih strana;
oko 500 programera i sistem administratora u državi;
više od 1.000.000 aktivnih korisnika po inženjeru;
desetine hiljada servera, desetine gigabita saobraćaja.

Kako sve to funkcionira?

Skalabilnost, jednostavnost, otvorenost

Društvene mreže općenito i Facebook možete tretirati na različite načine.
posebno, ali sa stanovišta proizvodnosti, ovo je jedno od najzanimljivijih
projekti. Posebno je lijepo što programeri nikada nisu odbili da podijele
iskustvo u stvaranju resursa koji može izdržati takva opterećenja. Postoji veliki
praktične koristi. Na kraju krajeva, sistem je zasnovan na javno dostupnim komponentama,
koje možete koristiti, ja mogu koristiti - dostupni su svima.
Štaviše, mnoge tehnologije koje je interno razvio Facebook,
su sada otvorenog koda. I iskoristite ih, opet, možda
svako ko želi. Programeri društvene mreže, kad god je to moguće, koriste samo
tehnologije otvorenog koda i Unix filozofija: svaka komponenta sistema mora biti
što jednostavnije i produktivnije, a rješavanje problema postiže se
kombinujući ih. Svi napori inženjera usmjereni su na skalabilnost,
minimiziranje broja tačaka kvara i, što je najvažnije, jednostavnost. Ne biti
neosnovano, navešću glavne tehnologije koje se sada koriste interno
Facebook:

Mislim da će biti najzanimljivije čuti kako je projekat uspio
koristiti najpoznatije tehnologije. I zaista ima mnogo
nijanse.

Šta se obično dogodi za 20 minuta na Facebooku?

Ljudi postavljaju 1.000.000 linkova;

Proslavite prijatelje za 1.323.000 fotografija;

Poziva 1.484.000 poznanika na događaje;

Pošaljite 1.587.000 poruka na zid;

Napišite 1.851.000 novih statusa;

2.000.000 parova ljudi postaju prijatelji;

2.700.000 fotografija je postavljeno;

pojavljuje se 10.200.000 komentara;

Poslano je 4.632.000 privatnih poruka.

PHP projekat

Ovo postavlja pitanje: zašto PHP? Na mnogo načina – samo „istorijski
razvijeno. "Pogodno je za web razvoj, lako se uči i radi,
postoji ogroman asortiman biblioteka dostupnih programerima. Osim toga, postoji
ogromna međunarodna zajednica. Sa negativne strane, visoka
potrošnja RAM-a i računarskih resursa. Kada je količina koda postala
ovoj listi su dodani preveliki, slab kucanje, linearni rast
troškovi pri povezivanju dodatnih datoteka, ograničene mogućnosti za
statička analiza i optimizacija. Sve je to počelo stvarati velike poteškoće. By
iz tog razloga, Facebook je implementirao mnoga poboljšanja u PHP, uključujući
optimizacija bajtkoda, poboljšanja u APC-u (lijeno učitavanje, optimizacija
zaključavanja, zagrijavanje keš memorije) i brojne izvorne ekstenzije (memcache klijent,
format serijalizacije, logovi, statistika, praćenje, asinhroni mehanizam
rukovanje događajima).

Šema formiranja news feeda

Projekt HipHop zaslužuje posebnu pažnju - to je transformator izvornog koda
sa PHP-a na optimizovani C++. Princip je jednostavan: programeri pišu u PHP-u,
koji se pretvara u optimizovani C++. Dodatak implementira
statička analiza koda, detekcija tipova podataka, generisanje koda i još mnogo toga
ostalo. Također, HipHop olakšava razvoj ekstenzija, značajno smanjuje
utrošak RAM-a i računarskih resursa. Tim od troje
Programerima je trebalo godinu i po dana da razviju ovu tehnologiju, posebno je to bilo
većina tumača i mnoge PHP jezičke ekstenzije su prepisane. Sad
HipHop kodovi se objavljuju pod licencom otvorenog koda, koristite svoje zdravlje.

Kultura razvoja Facebooka

Krećite se brzo i ne plašite se slomiti neke stvari;

veliki uticaj malih timova;

biti otvoren i inovativan;

vratiti inovacije zajednici otvorenog koda.

Poboljšanja MySQL

Sada o bazi podataka. Za razliku od velike većine sajtova, MySQL in
Facebook se koristi kao jednostavno skladište parova ključ/vrijednost. Veliki
broj logičkih baza podataka je raspoređen po fizičkim serverima, ali
replikacija se koristi samo između data centara. Balansiranje opterećenja
izvršeno redistribucijom baza podataka po mašinama. Pošto podaci
distribuirano gotovo nasumično, bez JOIN operacija,
kombinovanje podataka iz nekoliko tabela se ne koristi u kodu. Ovo je
značenje. Na kraju krajeva, mnogo je lakše povećati računarsku snagu na web serverima,
nego na serverima baze podataka.

Facebook koristi gotovo neizmijenjen MySQL izvorni kod,
ali sa svojim vlastitim shemama particioniranja za globalno jedinstvene
identifikatore i arhiviranje na osnovu učestalosti pristupa podacima.
Princip je vrlo efikasan jer se većina zahtjeva odnosi na najsvježije
informacije. Pristup novim podacima je maksimalno optimizovan, a starim zapisima
se automatski arhiviraju. Osim toga, oni koriste vlastite biblioteke za
pristup podacima zasnovanim na grafu, gde mogu imati samo objekti (vrhove grafa).
ograničen skup tipova podataka (cijeli broj, niz ograničene dužine, tekst),
i veze (ivice grafa) se automatski repliciraju, formirajući analog distribuiranog
strani ključevi.

Korištenje Memcached-a

Kao što znate, memcached je distribuirana hash tablica visokih performansi.
Facebook u njega pohranjuje "vruće" podatke iz MySQL-a, što se značajno smanjuje
učitavanje na nivou baze podataka. Više od 25 TB u upotrebi (samo razmislite
broj) RAM-a na nekoliko hiljada servera sa prosečnim vremenom
odziv manji od 250 μs. Serijalizovane PHP strukture podataka se keširaju, sa
zbog nedostatka automatskog mehanizma za provjeru konzistentnosti podataka između
memcached i MySQL to moraju učiniti na nivou koda. Glavni
način korištenja memcache-a je puno zahtjeva za višestruko dobivanje,
koristi se za dobijanje podataka na drugom kraju ivica grafa.

Facebook je vrlo aktivno uključen u finalizaciju projekta o pitanjima
produktivnost. Većina dolje opisanih poboljšanja uključena je u
opensource verzija memcached-a: port na 64-bitnoj arhitekturi, serijalizacija,
multithreading, kompresija, pristup memcacheu preko UDP-a (smanjuje
memorija zbog nedostatka hiljada TCP bafera veze). Osim toga bilo ih je
neke promjene su napravljene na Linux kernelu kako bi se optimizirala memcache memorija.
Koliko je efikasan? Nakon gore navedenih izmjena, memcached je sposoban
izvrši do 250.000 operacija u sekundi u odnosu na standardnih 30.000 - 40
000 u originalnoj verziji.

Okvir štedljivosti

Još jedna Facebook inovacija je Thrift projekat. Zapravo,
to je mehanizam za izgradnju aplikacija koje koriste više jezika
programiranje. Glavni cilj je osigurati transparentnu tehnologiju
interakcije između različitih programskih tehnologija. Štedljive ponude
programeri poseban jezik za opisivanje interfejsa, statički generator koda,
a takođe podržava mnoge jezike, uključujući C++, PHP, Python, Java, Ruby,
Erlang, Perl, Haskell. Moguć je izbor transporta (utičnice, fajlovi, baferi u
memorija) i standard za serijalizaciju (binarni, JSON). Podržani su različiti tipovi
serveri: neblokirajući, asinhroni, jednonitni i višenitni.
Alternativne tehnologije su SOAP, CORBA, COM, Pilar, Protocol Buffers,
ali svi oni imaju svoje značajne nedostatke, a to je natjeralo Facebook da se razvije
tvoje. Velika prednost Thrift-a su performanse.
Vrlo je, vrlo brzo, ali ni to nije njegova glavna prednost. Sa pojavom štedljivosti

Informacije o interakciji Facebooka sa zajednicom otvorenog koda ovih i
ostali projekti koji se nalaze na