Na Facebook, klademe důraz na budování datových center s plně otevřené a rozložené hardware navržen našimi inženýry a open-source přes Open Compute Project (OCP). Rozdělením našeho zásobníku můžeme nahradit hardware nebo software, jakmile bude k dispozici lepší technologie. Tento přístup umožnil působivé zvýšení výkonu napříč výpočetními, úložnými a síťovými vrstvami.
Jako nároky na naše datová centra neustále rostou, neustále se sledují způsoby, jak zpracovat data efektivněji a ve stále vyšších rychlostech. Naší strategií je vybudovat 100g datová centra a Wedge 100, náš špičkový síťový přepínač druhé generace, je jednou z klíčových součástí, které nám pomáhají dosáhnout tohoto cíle.
dnes s potěšením oznamujeme, že SPECIFIKACE Wedge 100 byla přijata do OCP. Průmysl již kolem něj vybudoval robustní softwarový ekosystém a doufáme, že tento přírůstek do komunity urychlí tempo inovací a umožní ostatním přinést 100G také do svých datových center.
v tomto blogu nastíníme současný hardwarový a softwarový ekosystém a podělíme se o některé z našich zkušeností s použitím Wedge 100 ve výrobě.
Wedge 100 na Facebook
na Facebook používáme Wedge 100 v našich výrobních prostředích a pokračujeme v jeho zavádění v měřítku napříč našimi datovými centry. Je součástí naší síťové strategie 100G datových center a zároveň nám umožňuje udržovat zpětnou kompatibilitu se stávajícími zařízeními 40G. Na softwarové straně, budeme i nadále používat FBOSS a OpenBMC, naše vlastní síťový zásobník a baseboard management implementace, což nám dává flexibilitu pro iteraci a rychle zavádět nové funkce a inovace v naší síti.
Vytvoření Klín 100 byl komplexní úsilí, ale my jsme byli schopni opakovat na hardware a software s důvěrou, protože naše poznatky z vytvoření a nasazení Klínu 40. Znovu jsme použili mnoho stejných hardwarových komponent a provedli klíčové změny k řešení bodů bolesti, které jsme cítili s Wedge 40. Na Wedge 100 provozujeme také stejný software FBOSS jako Wedge 40, ale rozšířili jsme jej o podporu nové platformy o 100g ASIC čipy a optiku.
Hardware aktualizace
postavili Jsme Klín, 100 s COM Express Type 6 modul v kompaktní podobě faktor (95 mm x 95 mm) jako microserver; to je dobrým znamením pro 100G a vyšší rychlost přepínání platformy. Wedge 100 také podporuje COM-Express modul form factor (95mm x 125mm), který umožňuje flexibilní design v případě, že jsou pro speciální aplikace vyžadovány pokročilejší procesory.
provozuschopnost je pro nás klíčovým zaměřením na Facebook. Máme nasazeny tisíce klínových spínačů a jen několik techniků datových center, což znamená, že musíme být schopni rychle a bez námahy opravit a opravit spínač bez použití nástrojů. Provedli jsme zásadní vylepšení provozuschopnosti spínače s klínem 100. Horní kryt lze nyní odstranit bez použití nástrojů, což poskytuje snadný přístup k přepínání interních zařízení pro naše techniky datových center. Zásobníky ventilátorů lze nyní vyjmout stisknutím klipu versus odstraněním šroubu palce. Technici datového centra mohou navíc snadno zobrazit stav zásobníku ventilátoru pomocí stavové LED vedle každé přihrádky ventilátoru. Jejich kombinace umožňuje velmi rychlé ladění a v případě potřeby výměnu pole.
Pro uplinky Klín 100 v Facebook data center, používáme optiky, které přicházejí s nižší případ mezní teplota 55 ° C, oproti standardní 70 C komerční teplotní rozsah. Jsme dát hodně úsilí do systému tepelné design, včetně přidání ještě jeden ventilátor zásobníku, vzduchové oddělit vzduch cesty mezi napájecí ZDROJ a hlavní vypínač desky, a přední panel otevření design pro maximalizaci průtoku vzduchu.
podvozek Wedge 100 je určen pro průmyslový standard 19 “ rack, takže jej může síťová komunita snadno přijmout. Naše datová centra však používají otevřené stojany a také bychom chtěli napájet Wedge 100 pomocí vysoce účinných napájecích jednotek Open Rack V2 s Titanem prostřednictvím sběrnice 12V v zadní části stojanu. Navrhli jsme tedy 21″ otevřený zásobník adaptéru, který pomáhá namontovat klín 100 do takového stojanu. Navrhli jsme také průchozí modul PSU, který spojuje sběrnici 12V se vstupem 12V Hlavní rozvaděče Wedge 100. Je ve stejném tvarovém faktoru jako standardní AC / DC PSU a obsahuje 12V hot swap řadič.
konstrukční specifikace pro Wedge 100 najdete zde.
aktualizace Softwaru
Náš software stack pro Wedge100 je téměř totožný stack na Klínu 40. Provozujeme stejné fboss přepínání a směrování démony, a používáme stejnou sadu nástrojů pro správu přepínačů ve výrobě. Vždy je třeba pracovat na podpoře nové platformy, ale jedním z hlavních principů pro FBOSS je vybudovat minimální sadu funkcí, kterou potřebujeme pro naše prostředí. To nám umožňuje udržet náš kód štíhlé a snadno adaptovat na nové prostředí a platforem, místo toho, začínat od nuly, nebo řídící paralelní kód základny. Získání sada protokolů, které podporujeme — NDP, DHCP, ARP, LLDP, ECMP, ICMP — a funkce, které potřebujeme k provozu — warm boot — práce na Wedge100 byl více iterativní cvičení, protože jsme měli zkušenosti s vedením Klínu 40 ve výrobě. To nám umožnilo narazit na projekt Wedge100 a použít jej jako příležitost k vytvrzení našeho softwarového zásobníku FBOSS.
protože jsme řídili Wedge 40s ve výrobě téměř dva roky a měli infrastrukturu zavedenou, začali jsme testovat Wedge100 ve výrobním prostředí téměř okamžitě. Běžící přepínače obsluhující výrobní provoz nám dávají nejlepší signál pro změny, které musíme provést. Jak se ukázalo, zjistili jsme, že naše největší výzva byla na provozní straně-konkrétně konfigurace, poskytování a správa Wedge 40 a Wedge 100 paralelně v naší síti. Na Facebook tým FBOSS píše Jak software, který provádí předávání paketů, tak sadu nástrojů, které používáme k provozní správě přepínačů. Z tohoto důvodu jsme měli pozitivní zpětnou vazbu a nakonec jsme se poučili ve výrobě informovaných softwarových — a dokonce i hardwarových-rozhodnutí. Tímto způsobem jsme se mohli soustředit na funkce, které jsme skutečně potřebovali, a velmi rychle jsme získali přepínače Wedge 100.
další výzvou, kterou jsme čelili při budování Wedge 100, bylo zvýšení flexibility naší softwarové platformy. Když jsme nasazovali Wedge 40, těžili jsme ze skutečnosti, že sada konfigurací, které jsme potřebovali k podpoře, byla docela omezená a mohli jsme je snadno podporovat. U Wedge 100 tomu tak nebylo. Chtěli jsme shodit klín 100 na jakémkoli místě v naší síti, které mělo klín 40. Rychlost downlinku a typy kabelů se mohou lišit. Rychlost uplinku se může lišit mezi starými a novými klastry. Správná konfigurace je zvláště důležitá pro odkazy 100G, protože mají mnohem menší optickou rezervu a mohou představovat další výzvy při vytváření spojení a optimalizaci výkonu, což vyžaduje mnohem pečlivější konfiguraci než 40G. Podpora těchto nových prostředí vyžadovala změny od fyzické vrstvy až po náš monitorovací zásobník. Rozšířili jsme naši podporu na SFF spec být schopen pracovat CWDM4 optika běží na různých rychlostech změnou výkonové třídy, CDR, rate-zvolte, FEC, pre-důraz a ostatní dynamicky na podporu těchto různých nastavení. Také jsme přepracovali mnoho našich konfiguračních a zajišťovacích pracovních postupů, abychom mohli podporovat všechny tyto možnosti.
a konečně, vlastnící náš vlastní software stack dělá opravy chyb nebo přidávání funkcí do těchto zařízení mnohem rychleji pro Facebook. Například, pozorovali jsme, že 100G optika dosažení vyšší provozní teploty, takže jsme změnili ventilátor řídicí logiky na naší desce management controller, OpenBMC, aby bylo dosaženo lepší tepelné profil, když ty moduly jsou přítomny. Jindy jsme na mikroserveru narazili na paniku jádra. Protože máme inženýrský tým, který spravuje naše vlastní vydání jádra, mohli bychom využít jejich odborné znalosti k ladění problémů. Vlastnit celý stack také nám umožňuje dělat jiné zajímavé věci, jako je zjednodušení zařízení postupy údržby změnou smyslu předním panelu Led diody na tyto přepínače, na základě zpětné vazby, které dostáváme od data center operations tým.
kód FBOSS je otevřený a dostupný na Githubu. V loňském roce jsme otevřeli náš software a od té doby jsme se přestěhovali do cyklu nepřetržitého uvolňování, automaticky tlačí interní diffy na GitHub. Pokud se chcete dozvědět více o tom, na čem pracujeme, podívejte se na kód.
Hardware a software ekosystému
Klín 100 switch je nyní k dispozici jako komerční produkt od Edgecore Sítí a jeho channel partnerů po celém světě. Edgecore Wedge 100-32X je plně v souladu se specifikací Wedge 100 OCP a je vyráběn mateřskou společností Edgecore, Accton Technology, která také vyrábí Wedge 100 pro naše nasazení v síti. Hardwarový přepínač Wedge 100-32X obsahuje tříletou záruku a je dodáván s diagnostikou, firmwarem OpenBMC a univerzálním nos loaderem Open Network Install Environment.
také jsme zaznamenali velký zájem dodavatelů transceiverů kvalifikovat své moduly na platformě. Abychom vyhověli této poptávce, spolupracujeme s laboratoří InterOperability University of New Hampshire (UNH-IOL), takže všechny moduly mohou být profesionálně testovány ve svých zařízeních. UNH-IOL je i nadále lídrem v poskytování neutrálních, široké testování a služby shody standardů pro síťový průmysl.
na straně softwaru staví několik společností svá řešení na platformě Wedge 100. Na vrstvě operačního systému máme velké přepínací sítě a Canonical; a na horních částech zásobníku máme SnapRoute, FRINX a Apstra.
- Big Switch Networks pokračuje v řízení Open Network Linux (ONL), prvního otevřeného síťového operačního systému, který podporuje původní Wedge 40, A nyní Wedge 100; Facebook je FBOSS je také k dispozici právě teď na vrcholu ONL na Wedge 40 a brzy Wedge 100. ONL je součástí projektu Open Compute a podporuje více než 30 různých otevřených síťových přepínačů OCP a non-OCP. Používají také ONL interně jako základ svých komerčních produktů Big Monitoring Fabric A Big Cloud Fabric.
- Canonical přinese Ubuntu Core, jejich nový operační systém pro cloudová a IoT zařízení, na platformu Wedge 100. Ubuntu Core může běžet několik různých síťových stacků, jako FBOSS nebo SnapRoute jako patentky, a umožnit bare-metal provisioning pro velké software, jako je OpenStack, Hadoop, a Kubernetes na výpočet vrstva datového centra od top-of-rack switch.
- společnost SnapRoute oznámila dostupnost softwaru FlexSwitch na platformě Wedge 100. FlexSwitch je síťový zásobník s otevřeným zdrojovým kódem L2/L3, který lze provozovat na více hardwarových platformách. Jeho cílem je změnit ekonomiku provozu sítě poskytnutím plně přizpůsobitelné a programovatelné řídicí roviny a nabídkou komplexního rámce pro automatizaci životního cyklu a analýzu sítě. Je postaven na konceptech plné modularity a podporuje myšlenku provozovat pouze sadu funkcí, které síť vyžaduje, na rozdíl od tradičního přístupu one size fits all.
- FRINX je zaměřen na integraci OpenDaylight, open source SDN platformy, na Wedge 100. Pracují na vytvoření podporovaného out-of-the-box řešení pro nasazení datových center, založené výhradně na open source komponent.
- Apstra působí na horní vrstvu s Apstra Operační Systém (AOS), prodejce-agnostik distribuovaný operační systém, který lze přeložit záměr uživatele do průběžně validovány infrastruktury. Pracují na řešení, které dokáže spravovat stohy založené na ONL a Snaproute a dalších síťových operačních systémech, které jsou k dispozici na začátku roku 2017.
Jsme nadšeni, že máme tak kompletní a různorodý soubor technologií v otevřených sítí, hardwaru prostoru, a budeme pokračovat v práci s jinými společnostmi na Klín 100. Na začátku příštího roku, máme v plánu na osvětu těchto sítí, software a hardware řešení od OCP společenství, včetně těch, které postaven na Klín 100, a budeme i nadále sdílet naše zkušenosti s členěny sítí. Zůstaňte naladěni!
Děkujeme všem týmům a lidem, kteří se na tomto projektu podíleli.