主流的overlay技術(shù)有哪些協(xié)議？Ov:VXLAN是一種隧道轉(zhuǎn)發(fā)，在UDP傳輸層封裝以太網(wǎng)報(bào)文，目的UDP端口號(hào)為4798。為了使VXLAN充分利用承載網(wǎng)路由的平衡，VXLAN使用了原以太網(wǎng)頭的哈希

主流的overlay技術(shù)有哪些協(xié)議？

Ov:VXLAN是一種隧道轉(zhuǎn)發(fā)，在UDP傳輸層封裝以太網(wǎng)報(bào)文，目的UDP端口號(hào)為4798。為了使VXLAN充分利用承載網(wǎng)路由的平衡，VXLAN使用了原以太網(wǎng)頭的哈希值(MAC，IP，四層端口號(hào)等。)作為UDP號(hào)；用24位來(lái)標(biāo)識(shí)二層網(wǎng)段稱為VNI(VXLAN網(wǎng)絡(luò)標(biāo)識(shí)符)，類似于VLAN ID。未知目的地、廣播、組播等網(wǎng)絡(luò)流量封裝為組播轉(zhuǎn)發(fā)，要求物理網(wǎng)絡(luò)支持任意源組播(ASM)。

2)nvgr: nvgr

YARN到底是怎么一回事？

紗線編程模型

1.為了保證編程模型的向下兼容性，MRv2重用了MRv1的編程模型和數(shù)據(jù)處理引擎，但運(yùn)行環(huán)境被重寫(xiě)。

2.編程模型和數(shù)據(jù)處理引擎mapreduce應(yīng)用程序之間有兩套編程接口:新API(mapred)和舊API(mapreduc:Jobracker和Tasktrack: YARN和ApplicationMaster YARN主要由ResourceManager、NodeManager、ApplicationMaster、Container等幾個(gè)組件組成。ResourceManager(RM) RM是一個(gè)全局資源管理器，負(fù)責(zé)整個(gè)系統(tǒng)的資源管理和分配。它主要由兩個(gè)組件組成:調(diào)度程序和應(yīng)用程序管理器(ASM)調(diào)度程序。調(diào)度程序基于容量、隊(duì)列等。約束，將系統(tǒng)中的資源分配給正在運(yùn)行的應(yīng)用程序，不負(fù)責(zé)特定應(yīng)用程序的相關(guān)工作，如監(jiān)控或跟蹤狀態(tài)，也不負(fù)責(zé)重新啟動(dòng)失敗的任務(wù)。資源分配單元使用 "資源容器和指示容器是一個(gè)動(dòng)態(tài)資源分配單元，它封裝了內(nèi)存、CPU、磁盤(pán)和網(wǎng)絡(luò)等資源。所以每個(gè)任務(wù)的資源調(diào)度器都是一個(gè)可的組件，用戶可以自己設(shè)計(jì)。YARN提供了各種直接可用的調(diào)度器，如公平調(diào)度器和容量調(diào)度器。應(yīng)用程序管理員負(fù)責(zé)管理整個(gè)系統(tǒng)中的所有應(yīng)用程序。ApplicationMaster(AM)用戶提交的每個(gè)應(yīng)用程序都包含一個(gè)AM AM。主要功能是與RM scheduler協(xié)商獲取資源(用容器表示)，并進(jìn)一步將獲取的任務(wù)分配給內(nèi)部任務(wù)，與NM通信自動(dòng)/停止任務(wù)，監(jiān)控所有任務(wù)的運(yùn)行狀態(tài)。并且當(dāng)任務(wù)運(yùn)行失敗時(shí)，重新為任務(wù)申請(qǐng)資源以重啟任務(wù)。目前，YARN附帶了兩個(gè)am來(lái)實(shí)現(xiàn)一個(gè)演示AM編寫(xiě)方法的示例程序，一個(gè)Mapreduce程序的分布式shell-MRAppMaster。對(duì)應(yīng)其他計(jì)算框架的AM正在開(kāi)發(fā)中，比如spark。Nodemanager(NM)和Container NM是每個(gè)節(jié)點(diǎn)上的資源和任務(wù)管理器，定期向RM報(bào)告本節(jié)點(diǎn)上的資源使用情況和每個(gè)容器的運(yùn)行狀態(tài)，接收和處理來(lái)自AM的容器啟動(dòng)/停止等各種請(qǐng)求。容器是紗線中的一種資源抽象。它封裝了一個(gè)節(jié)點(diǎn)上的多維資源。YARN會(huì)給每個(gè)任務(wù)分配一個(gè)容器，只有容器中描述的資源容器可以用來(lái)改變?nèi)蝿?wù)。它是一個(gè)動(dòng)態(tài)的資源劃分單元。YARN是根據(jù)應(yīng)用的需求動(dòng)態(tài)生成的，主要由以下協(xié)議組成:ApplicationClientProtocol作業(yè)客戶端通過(guò)RPC協(xié)議提交應(yīng)用程序，查詢應(yīng)用狀態(tài)等。ResourceManagementProtocol Admin通過(guò)該協(xié)議更新系統(tǒng)配置文件，如節(jié)點(diǎn)黑名單、用戶隊(duì)列權(quán)限等。ApplicationMasterProtocol AM希望RM通過(guò)RPC協(xié)議注冊(cè)和注銷(xiāo)自己，為每個(gè)任務(wù)申請(qǐng)資源。ContainerManagementProtocol AM通過(guò)n的要求。m啟動(dòng)或停止容器，獲取每個(gè)容器的使用狀態(tài)和其他信息。ResourceTracker NM通過(guò)RPC協(xié)議向RM注冊(cè)，定期發(fā)送心跳信息，報(bào)告當(dāng)前節(jié)點(diǎn)的資源使用情況和容器的運(yùn)行狀態(tài)。紗線與紡織品。;的工作流文本描述了這個(gè)過(guò)程:1 .客戶提交申請(qǐng)，RM amp提交的申請(qǐng)內(nèi)容是什么？;接受申請(qǐng)請(qǐng)求后的s ASM:a:applicationmast: ;啟動(dòng)應(yīng)用程序的命令master c: ;自己的應(yīng)用內(nèi)容2:提交三部分給R. M，然后RM找NodeManager，然后Nodemanager啟用Applicationmast:，但它需要資源來(lái)執(zhí)行任務(wù)，所以我們必須向RM 它將向RM注冊(cè)，比如說(shuō)我已經(jīng)開(kāi)始了。注冊(cè)后，我可以通過(guò)RM管理它，我們的用戶也可以通過(guò)RM 的網(wǎng)絡(luò)客戶端。)ASM只負(fù)責(zé)激活A(yù)PplicationMaster。注冊(cè)后，我們必須申請(qǐng)資源。申請(qǐng)資源是通過(guò)第四步。在向ResourceSch:申請(qǐng)資源后，它會(huì)尋找Nod:在知道自己申請(qǐng)了任務(wù)后會(huì)啟動(dòng)任務(wù)，環(huán)境會(huì)在當(dāng)前啟動(dòng)前準(zhǔn)備好。7:啟動(dòng)任務(wù)后，會(huì)和APplicationmast:將向RM報(bào)告，并讓RSM注銷(xiāo)。然后RSM將回收資源。當(dāng)然，我們是分布式的，所以我們不會(huì)只和自己的Nodemanager通信。它還將與其他節(jié)點(diǎn)通信。