Där petabyte av Facebook-data lagras. Läckande Facebook: Vad sociala nätverkspartners gör med användardata Facebook-publik

Lästid: 7 minuter

Att samla in en databas med Facebook är ibland mer lönsamt och bekvämare än att använda en webbplats. Och som en extra källa till potentiella kunder är sociala nätverk en idealisk plattform. Facebook har ett verktyg som samlar in kundkontakter genom annonser. Fördelen med denna metod är att klienten inte behöver ange en miljon fält, systemet kommer automatiskt att hämta e-post, telefonnummer, namn och all annan information från Facebook-databasen. Det vill säga att kunden ser annonsen, klickar, ett redan ifyllt formulär visas - allt som återstår är att klicka på skicka-knappen.

Vi samlar basen via sociala nätverk

Ingen väljer mellan kommunikationskanalerna med kunden. Instagram, Vkontakte, Facebook, Telegram, YouTube chattbots och andra - varumärken kommunicerar med kunden på alla möjliga plattformar. Marknadsförare använder varje möjlighet till ytterligare "beröring" ". Därför är det viktigt att reklam, utskick och sociala nätverk fungerar tillsammans och hjälper, och inte stör varandra.

Det är till exempel redan svårt att hitta ett mejl som inte innehåller knappar på sociala medier med ett uppmaning att prenumerera.


Aviasales

Omvänt är sociala medier ett bra sätt att locka läsare till din e-postlista. Varför då? Inlägg i chattar eller på sidor kan inte vara långa, det är svårt att fylla dem med instruktioner med skärmdumpar, videon är inte alltid bekväm att titta på med ljud - det finns begränsningar i varje kanal.

Brevet kan läggas åt sidan och läsas vid ett mer bekvämt tillfälle. I den kan du lägga till vilken information som helst med merch-taggar - det är när viss information om en klient hämtas från din databas. Till exempel hur många dagar som har gått sedan det senaste köpet, eller hur många nya ord han lärde sig från din platå.

Facebook publik

Skapa annonser enligt principen "någonstans, låt det komma dit" "Det är en dålig historia. Fundera på om du känner din målgrupp eller om du vill ha bred inriktning. Om du väljer det senare kommer Facebooks algoritmer själva att söka efter "dina" kunder.

Om du vill ställa in inriktningen själv måste du gräva djupare.Anpassade målgrupper på Facebook är indelade i:

Eller skapa liknande målgrupper – algoritmen kommer att söka efter personer baserat på egenskaper som matchar dina kunder eller potentiella kunder. Detta kan vara geo, ålder, intressen - alla parametrar som du anger.

Inriktningsalternativen är mångfacetterade och du kan arbeta med varje målgrupp separat. Skapa personliga annonser och gör personliga erbjudanden till varje potentiell kund.

Hur skapar jag ett Facebook-formulär för insamling av potentiella kunder?

I det första steget av att ställa in Facebook-annonser, klicka på "Lead Generation". Ange namnet på kampanjen. I nästa steg accepterar vi villkoren för användning av reklam för att generera leads (om du inte hittar här länk ).

Ställ sedan in till vilken målgrupp annonsen ska sändas... Vad gäller placeringar så rekommenderar vi inte annonsering på Instagram, då insamlingsformuläret där visas "snett" och bara irriterar användare.

Nu skapar vi ett formulär för insamling av data. Den skapas och redigeras i steg 3 för att skapa en annons. Klicka på "Lead Generation Form".

Vilken data kan hämtas därifrån:

  • kontaktinformation (telefon, e-post, namn, stad, etc.)
  • demografiska uppgifter (födelsedatum, kön, civilstånd, etc.)
  • information om jobbet (befattning, företag)
  • samt dina egna frågor (korta och alternativa svar, besöksdatum t.ex. för områden från HoReCa).

Men vi är en posttjänst

Därför behöver du få leads att hamna på e-postlistan. För integration med Facebook använder vi Zapier-tjänst. Mailigen har full integration med detta verktyg.

Ofta kommer den genomsnittliga användaren att avsluta läsningen vid denna tidpunkt. Eftersom orden integration, API, nycklar, webhooks bara avvisar. Det finns en utgång. Det är därför denna artikel skrevs :)

Hur man integrerar Facebook och Mailigen

För detta behöver vi:

Gå!

Först, på huvudsidan, måste du välja Facebook Lead Ads och Mailigen som tjänster som vi kommer att arbeta med:

Nedan visas den enda appen för att kombinera dem:


Klicka på denna zap och gå direkt till att fylla i den.

Eftersom vi har valt de tjänster som vi ska arbeta med – de två första stegen har redan fyllts i för oss, klicka bara på "Fortsätt" och gå till det tredje steget: lägga till ett Facebook-konto.


Klicka på knappen "Anslut ett konto" och utfärda de nödvändiga behörigheterna för din profils räkning till administrativa rättigheter till företagets Facebook-sida och Facebook Lead Ads (Viktigt!)

Kontot har lagts till i listan. Välj den och klicka på "Fortsätt".

Det fjärde steget låter dig välja en företagssida och ett Facebook Lead Ads-prenumerationsformulär som överför data till Mailligen:


Om du inte kan se sidan eller formuläret du vill ha, kontrollera din åtkomst till sidan och Facebook Lead Ads.

På nästa sida kan du kontrollera skapandet av leads och om allt är korrekt konfigurerat. Skapa en testlead och kontrollera hur Facebook Lead Ads-integreringarna fungerar:


Nästa punkt är att sätta upp integration med Mailigen. De två första stegen har redan slutförts för oss, precis som för Facebook Lead Ads, så låt oss gå vidare till att lägga till ett Mailigen-konto. Du kommer att bli ombedd att ange en API-nyckel, läs hur du får den.

Efter att ha angett nyckeln, verifierat den och valt önskat konto, gå till nästa steg, där du kan konfigurera vilken lista, med vilka alternativ (till exempel med eller utan dubbel bekräftelse) och i vilka fält för att ladda mottagna data:


Om en testledning skapades från Facebook Lead Ads, kan fälten väljas direkt med värdena för testledningen, för att inte misstas.

När du är klar med att ställa in alla fält, gå vidare till nästa steg och testa att lägga till en testledning till Mailigen.

Om testet lyckades, så grattis, din första app är redo att köra, kör den!


Det är allt. Du har nu ett fungerande paket med dina Facebook- och Mailigen-annonser. Och du var rädd. Använd det för din hälsa!


Även om Facebook förlorar mot sådana sociala nätverk som Vkontakte och Odnoklassniki när det gäller prevalensen bland den rysktalande publiken, är det fortfarande en mycket populär plattform för social aktivitet på Internet. Men inte alla vet hur detta sociala nätverk faktiskt använder information om sina användare. Därefter kommer vi att berätta hur denna resurs övervakar oss och vad som behöver göras för att skydda dina personuppgifter.

Hur Facebook följer oss

2014 rapporterade representanter för detta världsomspännande sociala nätverk att deras servrar tar emot cirka 600 terabyte data varje dag - med denna mängd information kunde 193 miljoner exemplar av boken "Krig och fred" jämföras. Det har gått flera år och det råder ingen tvekan om att den dagliga datamängden har ökat markant sedan dess. Föreställ dig hur mycket personlig information det här företaget äger!

"Tja, vad kan ett socialt nätverk lära sig om mig? Jag är en laglydig medborgare, och jag har inget att dölja, ”tänker en vanlig användare och kryssar automatiskt i rutan under punkten som beskriver resursens integritetspolicy. Men även om alla hade läst det här dokumentet finns viss information om användningen av personuppgifter fortfarande så att säga "mellan raderna".

Vad exakt har Facebook lärt sig för att studera användarnas personuppgifter? Mycket mer än du kanske tror!

Han ser att användarna skulle skriva

Den kanske mest intressanta och till och med kompromissande informationen finns i de meddelanden som vi skrev i stundens hetta, men som av olika anledningar inte skickade eller skrev om det annorlunda. Och tro inte att ingen har sett det förutom du!

Det sociala nätverket pratade faktiskt om denna "färdighet" själva och publicerade sin egen studie om självcensur ("Självcensur på Facebook", 2013), som förklarade varför och hur användare korrigerar sina inlägg innan de publiceras. Det visar sig att systemet kan registrera tangenttryckningar medan du skriver. Det visar sig att en gång skrivit personuppgifter redan kan finnas kvar i databasen för det sociala nätverket, även om du raderar dem.

Den överför personuppgifter till tredje part

Facebook undersöker i hemlighet den osända datan för att sammanställa ett porträtt av användarens personlighet, men resursen kan använda den redan publicerade informationen som utlovats i licensavtalet. Och detta inkluderar inte bara personlighetsforskning och eventuell egen forskning - systemet överför dina personuppgifter till marknadsföringsföretag och den amerikanska regeringen.

Var medveten om: även om du inte angav ditt mobiltelefonnummer eller e-postadress i din profil, men några av dina vänner försökte hitta dig med hjälp av dessa data, så känner systemet redan till denna information.

Dessutom samarbetar det sociala nätverket också med andra webbplatser du besöker för att samla in saknad information, till exempel om din inkomst, onlinebeteende etc., och anpassar sedan nyhetsflödet för dig för att främja riktad reklam.

Han försöker identifiera användarens ansikte

Han tittar på dig även när du är offline

Även här gör sig den ouppmärksamt lästa integritetspolicyn för denna webbplats påtaglig, som tydligt säger att:

Systemet kan samla in personuppgifter på detta sätt med hjälp av enkel inloggningsteknik och cookies. Dessutom försöker det sociala nätverket, eller har redan lärt sig att spåra markörens rörelse på skärmen.

Vad är den största faran med att använda Facebook

Som vi nämnde ovan, förutom att skapa relevanta inlägg, reklam och försäljning, överförs personuppgifter om användare till den amerikanska regeringen, på vars territorium det sociala nätverket är registrerat. Men länders makt är inte koncentrerad i händerna på presidenter, premiärministrar och andra tjänstemän - utöver dem finns det en hemlig grupp mäktiga representanter för de rikaste klanerna i världen som kontrollerar alla typer av industrier, banksystemet, territoriella gränser ... Denna grupp betecknas med termen "världsregering" ...

Dess mål är att upprätta en ny världsordning, vilket innebär total kontroll över planetens befolkning och alla sfärer av dess liv. Det ultimata verktyget för att hantera en person bör vara ett nanochip, eller ett lasernanomärke, applicerat på pannan eller höger hand, vilket, enligt den helige aposteln Johannes teologens uppenbarelse (Upp 13:15-18), kommer att betyda Antikrists ankomst. Och mellanstadiet är bara tilldelningen av digitala identifierare till befolkningen (INN, SNILS), införandet av UEC och biometriska pass, såväl som själva insamlingen och behandlingen av personuppgifter.

Personuppgiftsskydd på Facebook

Det enda genomförbara alternativet i denna situation skulle vara ett fullständigt avslag på sociala nätverk. Men om detta ännu inte är möjligt bör du åtminstone försöka hålla intrånget i dina personuppgifter till ett minimum, i enlighet med följande regler:

Tyvärr kan inte bara det sociala nätverket spåra oss, utan också operativsystemet - se själv hur våra personuppgifter används av Windows 10:


Ta det själv, berätta för dina vänner!

Läs även på vår hemsida:

visa mer

Inte ett nät, utan ett såll

Innan skandalen började fanns information om hur tredjepartsapplikationer använder Facebook-användares personuppgifter i företagets integritetspolicy i en ganska svårbegriplig form. Till och med Zuckerberg själv sa i kongressen att majoriteten av publiken inte läser detta dokument eller inte fördjupar sig i vad det säger. Omedelbart efter utredningens start började företaget förklara vad tredjepartsföretag fick och lovade att skärpa reglerna för tillgång till information för de senare. Från en av dessa Facebook-förklaringar följer:

  • Hittills har alla användare kunnat hitta den person han behövde genom att ange hans telefonnummer eller e-post i sökfältet. Denna funktion kunde också ha använts av cyberbrottslingar.
  • Facebook behöll historiken för samtal och korrespondens från ägarna av Android-smarttelefoner med Facebook Messenger och Facebook Lite-applikationerna installerade. Företaget lovade att analysera denna funktion för att säkerställa att meddelanden från användarna själva inte lagrades. Zuckerberg tillbakavisade en av de populära myterna om möjligheten att avlyssna användarkonversationer och sedan visa riktade annonser (klienter drog denna slutsats, eftersom när man installerar en applikation på en smartphone begär det sociala nätverket tillgång till mikrofonen): tillgång till mikrofonen är behövs uteslutande för korrekt videouppspelning.
  • Administratörer och medlemmar i slutna grupper kan ge tredjepartsprogram tillgång till listan över gruppmedlemmar och deras personliga data (namn; foton bifogade till inlägg, kommentarer till dem).
  • Tredjepartsapplikationer kunde läsa alla inlägg och kommentarer till dem via sidornas API (programmeringsgränssnitt).
  • Fram till 2014 kunde tredjepartsapplikationer begära information från Facebook inte bara om användaren själv, utan också om hans vänner. Efter att ha gjort ändringar kan ansökningar endast få information om de vänner som har gått med på att överföra den. I mars 2018 meddelade Facebook också att man skulle återkalla användarens tillstånd att samla in information om appen inte har använts på mer än tre månader.

Facebook samlar för närvarande in två typer av data. Den första är information som människor själva lägger upp på ett socialt nätverk: foton, inlägg etc. Den andra är de som är nödvändiga för riktad reklam. För att förbättra sin effektivitet köper Facebook också tjänster från informationsmäklare (datamäklare). Den senare samlar in information från många källor – plattformar som Google, Amazon och Facebook, samt företag verksamma inom branscher som relaterar till användningen av data om människor (media, detaljhandel, telekommunikation och finans) – och tillhandahåller andra företag tjänster relaterade till riktad reklam och poäng - kontroll av låntagare hos banker och kunder hos försäkringsbolag. Enligt en rapport från forskningsinstitutet Cracked Labs hade Facebook sex sådana partners under 2017: Acxiom, Epsilon, Experian, Oracle, CCC Marketing och Quantium. De hjälpte plattformen att bättre sortera och klassificera sina användare.

Foto: David Paul Morris / Bloomberg

Facebook säljer eller överför inte användardata till annonsörer. Som representanten för det sociala nätverket förklarade analyserar de dem och kategoriserar dem sedan enligt deras preferenser. Om en annonsör vill att deras annons ska ses av "kvinnliga cyklister från Atlanta", kommer Facebook att visa annonser till den kategorin användare utan att dela deras uppgifter med tredje part. Rapporterna för annonsörer innehåller endast generaliserad information om hur framgångsrik annonsen var – hur många personer och vilket kön som klickade på bannern och annan statistik.

Vad tredje parts webbplatser och applikationer gör med offentlig information om Facebook-användare är inte känt med säkerhet. Det är bara tydligt att denna information samlas in av många företag.

Testa det

Alexander Kogan använde inte bara tester för att samla in information på Facebook, många utvecklare gör det. RBC analyserade integritetspolicyn för några av dem.

  • Nametests.com

Sajten Nametests.com, som ägs av Socialsweethearts (den erbjuder tester "Vad har April förberett för dig?", "Hur ser din ideala partner ut?" Användaren samtycker till att dela information om sin offentliga profil, vänlista, e-postadress och likes. Företagets integritetspolicy säger att det lagrar den efterfrågade informationen i anonym form och använder den för att sammanställa statistik och förbättra sajten. Användning av data utan anonymisering är endast tillåten i de fall som föreskrivs i lag, såväl som för de ändamål som är nödvändiga för att säkerställa tjänstens funktion, säkerhet och optimering, som anges i Socialsweethearts dokument.

Efter borttagning av kontot kommer även användardata att raderas, enligt en talesperson för Socialsweethearts. "Vi analyserar inte och bedriver inte forskning om data för politiska och andra liknande syften, och vi samarbetar inte heller med företag eller organisationer som är engagerade i sådan forskning," sa han.

Enligt honom förbereder sig nu Socialsweethearts för att följa den allmänna dataskyddsförordningen (GDPR), som träder i kraft i EU den 25 maj 2018. "Vi förstår, med tanke på nyheterna kring Facebook, att användarnas förtroende [för säkerheten för deras personliga data] är mycket viktigt och samtidigt bör processerna förknippade med deras personuppgifter vara transparenta", säger en talesman för Socialsweethearts .

  • Playbuzz

Playbuzz, som också äger en webbplats med tester, förbereder sig också för införandet av GDPR, sa en representant för detta företag. Den aktuella versionen av Playbuzzs integritetspolicy säger att plattformen kan samla in personlig information som skrivs in vid registrering; information om enheten från vilken användaren besöker webbplatsen; samt svaren från de godkända proven. Playbuzz samlar dessutom in personlig information från användare från tredje part för marknadsföringsändamål, och kan även överföra anonymiserad information om personer i en generaliserad form till sina partners för reklamändamål.

En representant från Playbuzz noterade att på grund av att plattformens innehåll tjänar pengar på kan vissa av företagets partners, såväl som tredjepartsleverantörer (som bedrägeriupptäcktstjänster), samla in data från vissa slutanvändare (till exempel IP adresser). "Denna data är inte tillgänglig för Playbuzz och lagras inte på våra servrar," tillade han.

Även om användaren tar bort sin sida på sajten förbehåller sig Playbuzz rätten att överföra sina personuppgifter till tredje part, dess affärspartners, för icke-marknadsföringsändamål (till exempel för att kontakta användaren).

  • Hjärnfallsmedia

Brainfall Medias tjänsteavtal (som bedriver onlineforskning och samlar även in personuppgifter på Facebook) säger att företaget betraktar information om användare som en affärstillgång och har rätt att överföra den till tredje part med användarens samtycke. Företaget svarade inte på RBC:s begäran.

Spioner på smartphones

Webbplatser med besöksspårare och mobilappar är svarta hål: ingen kan verkligen bedöma vem de delar data med, enligt en Cracked Labs-studie. Under 2015 fann en studie av populära appar i Australien, Brasilien, Tyskland och USA av NICTA Research Center och University of New South Wales att 85–95 % av gratisapparna och upp till 60 % av betalapparna samlade in användarinformation för förmån för tredje part. RBC-journalister analyserade applikationer som samlade in information från deras Facebook-konton. Bland dem fanns program från flera välkända utvecklare.

"Tillgång till allmän profilinformation och e-postadress ges automatiskt till alla ackrediterade ansökningar. Tillåtelse att begära denna data ingår i den minsta grundläggande uppsättningen av Facebook för applikationsutvecklare, och det sociala nätverket har inte en smalare begäran, ”förklarade Stepan Danilov, grundare och VD för nätverkstjänsten MeYou, för RBC. Grundläggande behörigheter kräver inte utvecklarverifiering, men alla andra som hävdar mer information gör det enligt Facebooks "tillståndshjälp" för utvecklare.

Appar från Rambler Group-utvecklaren, som LiveJournal och Afisha-eda, begärde också information om användarens bostadsort och hemstad samt tillgång till publikationer i krönikan. Representanten för Rambler Groups presstjänst förklarade att kunder med sina mediaresurser kan logga in, inklusive via Facebook. Denna auktoriseringsmetod låter dig använda funktionerna i applikationer fullt ut, till exempel delta i omröstningar, lämna kommentarer etc. "För vår del får vi den potentiella möjligheten att arbeta med BigData och i framtiden sätta upp" smart inriktning ", vilket ökar effektiviteten i interaktionen med reklammedia för både användare och annonsörer. Helst är människor redo att uteslutande interagera med annonser som kan vara av potentiellt intresse för dem. Å andra sidan kommer annonsören i kontakt med en potentiellt mycket motiverad användare”, tillade han.

Applikationen Amediateka TV-program får bland annat tillgång till kundens vänlista. "Vännerlistan används inte för tillfället, men den är avsedd att uppdatera rekommendationssystemet baserat på användarens vänners intressen", säger Milana Bogatyreva, en representant för Amedia TV.

Vissa appar begärde åtkomst till Facebook-användares statusuppdateringar, foton och videor. Till exempel TripAdvisor. Nokia-appen hade tillgång till bland annat data om civilstånd, jobb, preferenser, utbildning, religiös och politisk övertygelse och annan information. Representanter för TripAdvisor och HMD Global (äger rättigheterna till varumärket Nokia) svarade inte på RBC:s frågor.

Anpassade själssamlare

Facebook är inte den huvudsakliga källan till användardata. I Cracked Labs-studien identifieras informationsmäklare som huvudkällor. Cracked Labs-experter utsåg Acxiom och Oracle som de största sådana företagen. Acxiom har till exempel samlat in konsumentdata i decennier från offentliga källor: telefonkataloger, domstolsprotokoll, brottsrapporter, olika register, enkäter, undersökningar etc. Senare har digitala källor tillkommit till detta, till exempel stora IT-företag, vars bl.a. programvara låter dig analysera telefonsamtal, finansiella transaktioner, internetaktivitet, etc. för att identifiera kriminella och terroristiska aktiviteter.

Dessutom samarbetar Acxiom med Ibotta (samlar in köpdata med hjälp av information från lojalitetskort eller kvitton), Samba TV (samlar in TV-tittande data genom program installerade på digitalboxar eller video-on-demand-plattformar), Crossix (samlar in medicinsk information, inklusive medicinsk historia, läkarbesök, recept, etc.), FreckleIOT (data om var en person befinner sig i realtid: i olika butiker, flygplatser, barer etc. kan speciella sensorer installeras med vilka den kan kommunicera användarens smartphone och skicka information) och andra företag som huvudsakligen är verksamma i USA. Acxiom lagrar denna information i form av ett unikt anonymt ID – en sorts kod som är kopplad till en postadress, telefonnummer, e-post, IP-adress, geolokalisering, cookie, enhets-ID. Varje unikt ID Acxiom tilldelas flera kategorier som personen motsvarar. En kund kan ge Acxiom en konsuments e-post och be om information om vilka kategorier informationsmäklaren kategoriserar.

Det finns inget enhetligt system för att bedöma storleken på användardatamarknaden. Enligt en studie av 451 Research uppgick volymen på den globala datamarknaden för telekommunikationsföretag enbart 2015 till 24 miljarder dollar, och till 2020 bör den öka till 79 miljarder dollar. Mobiloperatörer i minst tio länder (Ryssland var inte bland dem) märktes i det faktum att installerat en speciell mekanism för att spåra beteendet hos abonnenter när de surfar på Internet. Dessutom kunde surfare inte blockera sådana "super-cookies".

Även om användardata för närvarande används för att sälja riktade annonser och poäng, kan den hitta andra, mindre säkra användningsområden i framtiden. Till exempel kan uppgifterna användas för att dynamiskt ändra priserna på varor på webbplatsen för en webbutik, beroende på vem som besöker den. Det kan antingen vara en prissänkning, om systemet anser att denna användare är en värdefull konsument för företaget på lång sikt, eller en höjning beroende på hur mycket en viss användare är villig att betala för varan för tillfället. Med hjälp av personalisering kan företag försöka påverka konsumenternas beteende, visa honom annonser vid en viss tidpunkt för att han ska kunna göra ett köp.

Facebook är ett verkligt fenomen. Det största sociala nätverket i världen uppskattas till hundra miljarder dollar. Den har över en miljard användare. Men att lagra data, foton och meddelanden för mer än en sjundedel av världens befolkning kräver avancerad teknik. Så hur görs detta?

Norra Kalifornien. Datorjättarnas dal. Här är namnet som lockar flest turister – Facebook.

Detta sociala nätverk, som uppfanns av Harvard-studenter 2004, låter dina vänner veta vad du gör med ett musklick. För många finns det inget coolare än nätverkskommunikation. Åtta år efter företagets födelse blev det börsnoterat för otroliga 104 miljarder dollar. Det märks att Facebook skapades av studenter. De gör allt på sitt eget sätt. Graffiti och pekskärm över hela väggen. Varuautomater säljer lådor med prylar istället för burkar med dryck. Öppna barer och tv-spel för personal med en medelålder på 26 år. Det ser ut som om den här konstiga miljön är på jobbet. Människor från hela världen besöker Facebook. Var sjätte månad ökar deras antal med 100 miljoner. Att behandla så många människors personuppgifter är ingen lätt uppgift.


En anställd på företaget säger: "Vi har en ingenjör för varje miljon användare. Vi arbetar i en aldrig tidigare skådad omfattning."

De kan inte dra nytta av någon annans erfarenhet. För innan hade ingen sajt så många besökare. Och när du har fler användare än maskiner i världen är en av de största problemen lagring. Din bärbara hårddisk får plats i handen. Här behövs något större.

I Primeville, Oregon, finns ett enormt datacenter – 28 000 kvadratmeter.

Det är som en minnessticka storleken på tre fotbollsplaner, värd hundratals miljoner dollar. Det är här din information lagras. På de senaste servrarna, i stora minnesbanker, mellan vilka data färdas med ljusets hastighet över nästan 6,5 tusen kilometer långa fiberoptiska kablar. Säger Cam Patchet, general manager för datacentret: "När du anger adressen facebook.com går din förfrågan till Internet och sedan hit, och här efterfrågas en av Facebooks servrar. Din profil, all data kopplad till den, bearbetas och sammanställs av våra datacenter och skickas tillbaka till dig via Internet. Allt detta händer på millisekunder. Vissa människor tänker på Internet som något som ett moln som svävar på himlen. Men nej, det är en materiell sak. Internet är datorer, servrar och datacenter sammankopplade med kilometervis av kabel över hela världen. Alla dessa enheter kan kommunicera med varandra och dela data."

Om du vill visualisera internet är dessa ändlösa rader av servrar en bra illustration. Jämfört med denna plats ser superdatorn ut som en fickkalkylator. Den försörjs med 30 megawatt el, så el finns alltid tillgänglig.

Men precis som att inte ha en säkerhetskopia av din dators data, kan ett strömavbrott vara en katastrof här. För miljontals tonåringar är en värld utan sociala nätverk helt enkelt otänkbar. Så det finns enorma dieselgeneratorer redo. I händelse av att huvudledningen i byggnaden kopplas bort kommer dessa generatorer att kopplas in. Anställda övervakar dem ständigt. De genererar 3 megawatt vardera, och det finns 14 av dem.

Ett annat problem: hela denna teknik genererar en enorm mängd värme. Utan kylning kommer dessa servrar att misslyckas. Hemdatorns processor kyls av en kylare som är lite större än en tändsticksask.

Här för detta finns en omfattande sju-rums takvåning - ett modernt system med naturlig luftkonditionering. Kall luft från Oregons högland dras in, filtreras och blandas med varm luft för att reglera temperaturen i datacentret.

Suspenderat vatten, som sprutas av munstyckena, styr luftfuktigheten.

Kyld luft tillförs från baksidan av servrarna för att förhindra överhettning. Och slutligen dras överskottet av varma luft ut av enorma fläktar, hundra gånger större än en hemdator.

Fler fans kommer att behövas snart eftersom det sociala nätverket bara kokar över. Nästan 600 miljoner människor besöker webbplatsen varje dag. Det är nästan dubbelt så många som USA:s befolkning. Och sajten fortsätter att växa. Tusen nya servrar tas hit varje dag. Tom Furlong är ansvarig för datacenter. När jag började jobba för 4,5 år sedan, säger han, hade vi 27 miljoner användare och flera tusen servrar. Idag fick vi tusen servrar, och jag märkte det knappt.

Hit kommer enorma lastbilar. De levererar inte mat. De tar in mer och mer serverminne. De flesta av oss är bekanta med gigabyte och terabyte. Här går kontot till petabyte. Mer än 100 petabyte med foton och videor lagras på Facebooks servrar, och det finns fler av dem varje dag. Det här är en otrolig mängd information.

Varje dag tar ett datacenter emot 100 000 gånger mer data än vad hårddisken på en avancerad persondator kan hålla. Varje serverrack har 500 terabyte, mer än 130 miljarder gånger mer än Apples första PC. Och om en server går ner får tekniker som David Gaylard i uppdrag att hitta nålen i den digitala höstacken.

Hårddisken är ur funktion och han letar efter rätt rack i en labyrint av surrande servrar. Efter att ha hittat räknaren byter David ut hela brädet under den tid det tar dig att uppdatera statusen. Men David och andra tekniker är inte allsmäktige. Över hela världen har nästan 2,5 miljarder människor tillgång till Internet. Och alla spenderar 20 % av sin tid online på sociala medier och laddar upp hundratals miljoner foton, inlägg och uppdateringar varje dag. Med sådan aktivitet, även i ett så enormt datacenter, håller utrymmet på att ta slut. Byggarna arbetar redan med att utöka kapaciteten. Men med den här omfattningen av nätverksaktivitet bör de skynda sig.

Filmen "Social Network" är en bra illustration av fenomenet Facebooks utveckling,
som lyckades samla en sagolik, tidigare otänkbar publik på rekordtid.
Men ytterligare en komponent i projektet fanns kvar bakom kulisserna - hur det fungerar.
från insidan. Dess tekniska anordning.

Vad är Facebook nu? Detta visas bäst med torra siffror:

  • 500 000 000 aktiva användare (månadsvis publik);
  • 200 000 000 000 sidvisningar per månad;
  • 150 000 000 cacheträffar per sekund;
  • 2 000 000 000 000 objekt i cachen;
  • 20 000 000 000 bilder i 4 upplösningar. De skulle räcka till
    täcka jordens yta i 10 lager - detta är mer än alla andra
    fotoresurser kombinerade;
  • mer än 1 000 000 000 chattmeddelanden varje dag;
  • mer än 100 miljoner sökfrågor dagligen;
  • mer än 400 000 utvecklare av tredjepartsapplikationer;
  • cirka 500 utvecklare och systemadministratörer i staten;
  • mer än 1 000 000 aktiva användare per ingenjör;
  • tiotusentals servrar, tiotals gigabits trafik.

Hur fungerar det hela?

Skalbarhet, enkelhet, öppenhet

Du kan behandla sociala nätverk i allmänhet och Facebook på olika sätt.
speciellt, men ur tillverkningsbarhetssynpunkt är detta en av de mest intressanta
projekt. Det är särskilt trevligt att utvecklarna aldrig vägrade dela
erfarenhet av att skapa en resurs som tål sådana belastningar. Det är en stor
praktiska fördelar. När allt kommer omkring är systemet baserat på allmänt tillgängliga komponenter,
som du kan använda kan jag använda - de är tillgängliga för alla.
Dessutom har många av de teknologier som utvecklats internt av Facebook,
är nu öppen källkod. Och använda dem, igen, kanske
vem som helst som vill. Utvecklarna av det sociala nätverket, när det är möjligt, använde endast
öppen källkodsteknologi och Unix-filosofin: varje komponent i systemet måste vara det
så enkelt och produktivt som möjligt, samtidigt som problemlösning uppnås genom
kombinera dem. Alla insatser från ingenjörer är inriktade på skalbarhet,
minimera antalet felpunkter och, viktigast av allt, enkelhet. Inte att vara
ogrundat kommer jag att ange de viktigaste teknologierna som nu används internt
Facebook:

Jag tror att det ska bli mest intressant att höra hur projektet lyckades
använda de mest kända teknikerna. Och det finns verkligen mycket
nyanser.

Vad brukar hända på 20 minuter på Facebook?

  • Människor lägger upp 1 000 000 länkar;
  • Fira vänner för 1 323 000 bilder;
  • Bjuder in 1 484 000 bekanta till evenemang;
  • Skicka 1 587 000 meddelanden till väggen;
  • Skriv 1 851 000 nya statusar;
  • 2 000 000 par människor blir vänner;
  • 2 700 000 bilder laddas upp;
  • 10 200 000 kommentarer dyker upp;
  • 4 632 000 privata meddelanden skickas.

PHP-projekt

Detta väcker frågan: varför PHP? På många sätt - bara "historiskt
utvecklad. "Den är väl lämpad för webbutveckling, lätt att lära sig och arbeta,
det finns ett stort utbud av bibliotek tillgängliga för programmerare. Dessutom finns det
enormt internationellt samfund. På den negativa sidan, hög
förbrukning av RAM och datorresurser. När mängden kod blev
för stor, svag typning, linjär tillväxt lades till i denna lista
kostnader vid anslutning av ytterligare filer, begränsade möjligheter för
statisk analys och optimering. Allt detta började skapa stora svårigheter. Förbi
av denna anledning har Facebook implementerat många förbättringar av PHP, inklusive
bytekodoptimering, förbättringar i APC (lat laddning, optimering
lås, cacheuppvärmning) och ett antal inbyggda tillägg (memcache-klient,
serialiseringsformat, loggar, statistik, övervakning, asynkron mekanism
händelsehantering).

Schema för att bilda ett nyhetsflöde

HipHop-projektet förtjänar särskild uppmärksamhet - det är en källkodstransformator
från PHP till optimerad C++. Principen är enkel: utvecklare skriver i PHP,
som konverterar till optimerad C ++. Tillägget implementerar
statisk kodanalys, datatypdetektion, kodgenerering och mycket
Övrig. HipHop gör det också lättare att utveckla tillägg, minskar avsevärt
utgifterna för RAM-minne och datorresurser. Ett lag på tre
Det tog ett och ett halvt år för programmerare att utveckla den här tekniken, i synnerhet var det det
det mesta av tolken och många PHP-språktillägg har skrivits om. Nu
HipHop-koder publiceras under en öppen källkod, använd din hälsa.

Facebooks utvecklingskultur

  • Rör dig snabbt och var inte rädd för att bryta några saker;
  • stort inflytande från små team;
  • vara frispråkig och innovativ;
  • återför innovation till opensource-gemenskapen.

Förbättringar av MySQL

Nu om databasen. Till skillnad från de allra flesta webbplatser, MySQL in
Facebook används som ett enkelt lager av nyckel-värdepar. Stor
antalet logiska databaser är fördelat över fysiska servrar, men
replikering används endast mellan datacenter. Lastbalansering
utförs genom omfördelning av databaser över maskiner. Sedan uppgifterna
distribueras nästan slumpmässigt, inga JOIN-operationer,
att kombinera data från flera tabeller används inte i koden. Detta är
menande. När allt kommer omkring är det mycket lättare att öka datorkraften på webbservrar,
än på databasservrar.

Facebook använder nästan oförändrad MySQL-källkod,
men med sina egna partitioneringsscheman för globalt unika
identifierare och arkivering baserat på frekvensen av dataåtkomst.
Principen är mycket effektiv eftersom de flesta förfrågningar är för de färskaste
information. Tillgången till nya data optimeras så mycket som möjligt, och gamla register
arkiveras automatiskt. Dessutom använder de sina egna bibliotek för
tillgång till data baserad på en graf, där objekt (grafens hörn) bara kan ha
begränsad uppsättning datatyper (heltal, sträng med begränsad längd, text),
och länkar (grafens kanter) replikeras automatiskt och bildar en analog av distribuerad
främmande nycklar.

Använder Memcached

Som ni vet är memcached en distribuerad hashtabell med hög prestanda.
Facebook lagrar "het" data från MySQL i den, vilket minskar avsevärt
ladda på databasnivå. Mer än 25 TB används (tänk bara på
figur) RAM på flera tusen servrar med en genomsnittlig tid
svar mindre än 250 μs. Serialiserade PHP-datastrukturer cachelagras, med
på grund av avsaknaden av en automatisk mekanism för att kontrollera överensstämmelsen mellan data
memcached och MySQL måste göra detta på kodnivå. Den huvudsakliga
sättet att använda memcache är många multi-get-förfrågningar,
används för att erhålla data i den andra änden av grafens kanter.

Facebook är mycket aktivt involverat i att slutföra projektet i frågor
produktivitet. De flesta av de förbättringar som beskrivs nedan har inkluderats i
opensource-version av memcached: port på 64-bitars arkitektur, serialisering,
multithreading, komprimering, memcache-åtkomst via UDP (minskar
minne på grund av bristen på tusentals TCP-anslutningsbuffertar). Dessutom fanns det
några ändringar har gjorts i Linux-kärnan för att optimera memcachen.
Hur effektivt är det? Efter ovanstående ändringar kan memcached
utföra upp till 250 000 operationer per sekund jämfört med standarden 30 000 - 40
000 i originalversionen.

Sparsamhet ram

En annan Facebook-nyhet är Thrift-projektet. Faktiskt,
det är en mekanism för att bygga applikationer på flera språk
programmering. Huvudmålet är att tillhandahålla teknik för transparent
interaktioner mellan olika programmeringsteknologier. Sparsamhetserbjudanden
utvecklare ett speciellt språk för att beskriva gränssnitt, en statisk kodgenerator,
och stöder även många språk, inklusive C++, PHP, Python, Java, Ruby,
Erlang, Perl, Haskell. Valet av transport är möjligt (sockets, filer, buffertar in
minne) och serialiseringsstandard (binär, JSON). Olika typer stöds
servrar: icke-blockerande, asynkrona, både enkeltrådade och flertrådade.
Alternativa teknologier är SOAP, CORBA, COM, Pillar, Protocol Buffers,
men de har alla sina betydande nackdelar, och detta tvingade Facebook att utvecklas
din egen. Sparsamhetens stora fördel är prestanda.
Det är väldigt, väldigt snabbt, men inte ens detta är dess främsta fördel. Med tillkomsten av Thrift

Information om Facebooks interaktion med opensource-gemenskapen av dessa och
andra projekt som ligger på

Dela detta