網(wǎng)友解答: 基本都是定制版的Linux，比如我國(guó)曾經(jīng)名列全球超算第一名的天河2號(hào)使用的就是我國(guó)“自主研發(fā)”的銀河麒麟操作系統(tǒng)（定制版Linux），其它超算采用比較多的是RHEL和cent

基本都是定制版的Linux，比如我國(guó)曾經(jīng)名列全球超算第一名的天河2號(hào)使用的就是我國(guó)“自主研發(fā)”的銀河麒麟操作系統(tǒng)（定制版Linux），其它超算采用比較多的是RHEL和centos。其實(shí)國(guó)家超算廣州中心、國(guó)家超算天津中心，國(guó)家超算長(zhǎng)沙這3個(gè)地方部署的都是銀河麒麟操作系統(tǒng)。

超級(jí)計(jì)算機(jī)都是采用的多核加分布式方式，可以理解成Linux集群，超級(jí)計(jì)算機(jī)每個(gè)節(jié)點(diǎn)都有處理器也都有操作系統(tǒng)，節(jié)點(diǎn)與節(jié)點(diǎn)之間通過(guò)Infiniband （可以理解成比我們用的網(wǎng)卡網(wǎng)線更快的通信設(shè)備）來(lái)交換數(shù)據(jù)。

至于干什么用，還是以天河2號(hào)為例來(lái)說(shuō)明吧，官方有案例：大氣海洋環(huán)境、天文地球物理、工業(yè)設(shè)計(jì)制造、新能源材料、生物醫(yī)療健康、只會(huì)城市云計(jì)算等都，其實(shí)在比特幣價(jià)格非常高的時(shí)候，還有人要拿這個(gè)來(lái)挖礦。

其實(shí)在一些時(shí)候超算上也會(huì)有Windows，在天河2號(hào)上就有個(gè)動(dòng)漫渲染案例應(yīng)用，虛擬機(jī)規(guī)模達(dá)到2800多臺(tái)，使用Windows 2008 server虛擬機(jī)，Maya、3DS Ma、Houdini等動(dòng)漫渲染工具。

技術(shù)篇

超級(jí)計(jì)算機(jī)技術(shù)有三個(gè)層次：基礎(chǔ)層、中間層和應(yīng)用層。其中，基礎(chǔ)層主要是超級(jí)計(jì)算機(jī)的基本原理與方法，應(yīng)用層涉及超級(jí)計(jì)算機(jī)使用場(chǎng)景，而中間層則包含了數(shù)據(jù)存儲(chǔ)、計(jì)算、管理等多重技術(shù)支持，正是有了中間層的鏈接，超級(jí)計(jì)算機(jī)原理才能落實(shí)到應(yīng)用問(wèn)題解決之中。

圖 4 超級(jí)計(jì)算機(jī)技術(shù)分層

(1) 基本原理

超級(jí)計(jì)算的基本原理是并行計(jì)算，其優(yōu)點(diǎn)是可以節(jié)省時(shí)間、處理大型問(wèn)題、提高準(zhǔn)確度。在這種方法中，整個(gè)求解問(wèn)題被分成n干份，然后每個(gè)部分各由一個(gè)處理機(jī)并行計(jì)算，理論上，求解問(wèn)題可以以1/n時(shí)間完成，但實(shí)際情況中，求解的問(wèn)題通常不能很好地劃分為各個(gè)獨(dú)立部分，各個(gè)部分之間必須進(jìn)行交互，包括計(jì)算中的數(shù)據(jù)傳送和同步。因此，超級(jí)計(jì)算的性能優(yōu)化之一是提高并行可擴(kuò)展性。目前來(lái)看，硬件層面并行化的實(shí)現(xiàn)手段為：多重執(zhí)行單元、連接結(jié)構(gòu)、多核處理等。

(2) 架構(gòu)分類

按照并行計(jì)算方式是單指令多數(shù)據(jù)流（SIMD）還是多指令多數(shù)據(jù)流（MIMD），存儲(chǔ)器是共享還是分布，可以將超級(jí)計(jì)算機(jī)系統(tǒng)的架構(gòu)作如下劃分：

圖 5 超級(jí)計(jì)算機(jī)系統(tǒng)的架構(gòu)分類

早期的超級(jí)計(jì)算機(jī)系統(tǒng)以SIMD方式工作。由于系統(tǒng)中的各個(gè)處理器按陣列方式排列，所以又稱為陣列處理機(jī)。陣列處理機(jī)中的存儲(chǔ)器可以是共享式的（SM-SIMD），也可以是分布式的（DM-SDMD）。陣列處理機(jī)的專用性較強(qiáng)，一般只適合于求解某類算法，工作效率往往很高。單向量機(jī)系統(tǒng)中只有一套向量部件，但存儲(chǔ)器為向量部件、標(biāo)量浮點(diǎn)部件和標(biāo)量整數(shù)率往往和部件所共享，因此屬于SM-SIMD類型。它有較強(qiáng)的通用性，特別是在求解向量應(yīng)用問(wèn)題時(shí)，有很高的效率。

當(dāng)今的超級(jí)計(jì)算機(jī)系統(tǒng)大多以MIMD方式工作。多向量機(jī)（multi vector processor，MVP）系統(tǒng)中有多套向量部件，但存儲(chǔ)器是共享的，因此屬于SM-MIMD類型。對(duì)稱多處理器（symmetric multiprocessor，SMP）系統(tǒng)也屬于這一類型。MVP和SMP又稱為UMA（uniform memory access）系統(tǒng)，因?yàn)橄到y(tǒng)中所有處理器對(duì)任何存儲(chǔ)單元有相同的訪問(wèn)時(shí)間。與UMA系統(tǒng)相對(duì)的系統(tǒng)稱為NUMA系統(tǒng)，在NUMA系統(tǒng)中，存儲(chǔ)器是分布的，各訪問(wèn)時(shí)間和處理器對(duì)同一存儲(chǔ)單元的訪問(wèn)時(shí)間可能是不同的，依賴于處理器在系統(tǒng)中所處的具體物理位置。NUMA系統(tǒng)屬于DM-MIMD類型。需要注意的是，NUMA系統(tǒng)中的處理器可對(duì)遠(yuǎn)程存儲(chǔ)器（即非本地存儲(chǔ)器）以load- store指令形式進(jìn)行直接訪問(wèn)，因此該系統(tǒng)有一個(gè)統(tǒng)一的存儲(chǔ)器邏輯地址空間。NUMA并行機(jī)系統(tǒng)按是否對(duì)Cache一致性提供硬件支持可進(jìn)一步分為CC-NUMA（cache-coherent）和NCC-NUMA（non-cache-coherent）。當(dāng)存儲(chǔ)器全由Cache組成時(shí)就變?yōu)镃OMA（cache only memory architecture）系統(tǒng)。

如果并行計(jì)算機(jī)系統(tǒng)中的處理器必須以消息傳遞的方式訪問(wèn)遠(yuǎn)程存儲(chǔ)器，就稱為NORMA（no remote memory access）系統(tǒng)，它也是DM-MMD類型。與NUMA系統(tǒng)不同，它有多個(gè)存儲(chǔ)器地址空間，且系統(tǒng)中的每個(gè)處理器是一個(gè)獨(dú)立的計(jì)算機(jī)。NORMA系統(tǒng)按計(jì)算機(jī)間的互連緊密程度，又分為緊耦合和松耦合兩種。集群（cluster）系統(tǒng)是松耦合的典型代表，而MPP系統(tǒng)則是緊耦合的典型代表。MPP系統(tǒng)使用大量的商品化處理節(jié)點(diǎn)，用定制的高帶寬、低時(shí)延互連網(wǎng)絡(luò)將它們連接起來(lái)，存儲(chǔ)器在物理上是分布的，必須通過(guò)消息傳遞實(shí)現(xiàn)進(jìn)程間的相互通信，是緊耦合的并行機(jī)系統(tǒng)，具有良好的可擴(kuò)展性。Cray T3E和IBM Blue/Gene系統(tǒng)是它的典型代表。

集群系統(tǒng)中每個(gè)節(jié)點(diǎn)是一個(gè)完整的計(jì)算機(jī)，可能沒(méi)有某些外設(shè)，節(jié)點(diǎn)也可以是一臺(tái)SMP或個(gè)人計(jì)算機(jī)（personal computer，PC）等。它采用商品化的互連網(wǎng)設(shè)備，節(jié)點(diǎn)機(jī)通過(guò)I/O總線與網(wǎng)絡(luò)接口相連。每個(gè)節(jié)點(diǎn)機(jī)上留駐有一個(gè)完整的操作系統(tǒng)，并有一個(gè)附加的中間件以支持單一系統(tǒng)映像和高可用性。

(3) 最新發(fā)展

自1996年以來(lái)，由于挑戰(zhàn)性應(yīng)用問(wèn)題的急切需求，以及超大規(guī)模集成電路技術(shù)和網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，加快了計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)的演變和發(fā)展進(jìn)程。雖然開(kāi)發(fā)指令級(jí)并行性的超標(biāo)量技術(shù)日臻完善，動(dòng)態(tài)預(yù)測(cè)執(zhí)行、顯性并行指令計(jì)算（explicitly parallel instruction computing，EPIC）等方法也已成功應(yīng)用到商品化產(chǎn)品中，但隨之而來(lái)的超標(biāo)量處理器的設(shè)計(jì)越來(lái)越復(fù)雜，以至于進(jìn)一步開(kāi)發(fā)指令級(jí)并行性已變得相當(dāng)困難。另一方面，為了提高性能，微處理器芯片的時(shí)鐘頻率越來(lái)越高，導(dǎo)致功耗的急劇增加和組件裝配密度的下降。顯然，單純依賴提升單處理器時(shí)鐘頻率和一味開(kāi)發(fā)指令級(jí)并行性以提高計(jì)算機(jī)性能的方法已不再經(jīng)濟(jì)有效，必須加強(qiáng)對(duì)線程級(jí)和數(shù)據(jù)級(jí)并行性的開(kāi)發(fā)才能大幅提高計(jì)算機(jī)性能。

進(jìn)入21世紀(jì)之后，多線程、多核技術(shù)應(yīng)運(yùn)而生，將異構(gòu)并行計(jì)算架構(gòu)引入超級(jí)計(jì)算機(jī)中，采用專用處理器或者附屬加速處理器的方式加以實(shí)現(xiàn)。異構(gòu)并行技術(shù)，需要有效開(kāi)發(fā)計(jì)算任務(wù)的并行性，與機(jī)器不同部件支持的計(jì)算類型最佳匹配，以充分利用各種計(jì)算機(jī)資源，神威·太湖之光、天河二號(hào)與天河2A、紅杉等頂尖超級(jí)計(jì)算機(jī)都采取異構(gòu)并行的處理器架構(gòu)。

異構(gòu)并行計(jì)算的基本工作原理是，首先析取求解任務(wù)的并行性類型，其次將具有相同類型的代碼段劃分到同一個(gè)子任務(wù)中，然后根據(jù)不同的并行性類型將各子任務(wù)分配到最適合執(zhí)行它的計(jì)算資源上加以執(zhí)行，達(dá)到使計(jì)算任務(wù)總的執(zhí)行時(shí)間為最小的目的。一個(gè)異構(gòu)計(jì)算系統(tǒng)通常由以下三部分組成：①一組異構(gòu)機(jī)器，如向量機(jī)、MIMD機(jī)、集群、圖形處理機(jī)等；②將各種異構(gòu)機(jī)互連起來(lái)的高速網(wǎng)，可以是商品化網(wǎng)絡(luò)，也可以是用戶定制的網(wǎng)絡(luò)；③相應(yīng)的異構(gòu)計(jì)算的支撐軟件。

當(dāng)前HPC的主要架構(gòu)包括Cluster集群和MPP（大規(guī)模并行處理）兩種，2018年6月發(fā)布的TOP500中437個(gè)超級(jí)計(jì)算機(jī)系統(tǒng)為集群架構(gòu)、占比87.4%，其余63個(gè)均為MPP架構(gòu)。典型的HPC集群系統(tǒng)主要由五類計(jì)算（或網(wǎng)絡(luò)）設(shè)備和三類網(wǎng)絡(luò)組成。五類設(shè)備主要是指管理節(jié)點(diǎn)及登錄節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)、交換設(shè)備、I/O設(shè)備和存儲(chǔ)設(shè)備。當(dāng)前有很多高性能服務(wù)器都采用CPU+加速處理器異構(gòu)的方式，因此有些集群系統(tǒng)還包括加速節(jié)點(diǎn)。

(1) 六類設(shè)備：

l 登錄節(jié)點(diǎn)，相當(dāng)于用戶訪問(wèn)集群系統(tǒng)的網(wǎng)關(guān)，用戶通常登錄到這個(gè)節(jié)點(diǎn)上編譯并提交作業(yè)，是外部訪問(wèn)的唯一入口，需要保證用戶節(jié)點(diǎn)的高可用性和數(shù)據(jù)安全性，但是對(duì)計(jì)算性能要求不高。

l 管理節(jié)點(diǎn)，是集群系統(tǒng)各種管理措施的控制節(jié)點(diǎn)，負(fù)責(zé)監(jiān)控各個(gè)節(jié)點(diǎn)和網(wǎng)絡(luò)運(yùn)行狀況，運(yùn)行相應(yīng)的管理軟件。管理節(jié)點(diǎn)需要有硬件冗余保護(hù)，但是對(duì)計(jì)算性能要求不高。

l 計(jì)算節(jié)點(diǎn)，用于執(zhí)行計(jì)算，一般可以分為瘦節(jié)點(diǎn)和胖節(jié)點(diǎn)，前者主要用于執(zhí)行并行運(yùn)算，成本相對(duì) 較低，還可以節(jié)約能耗、節(jié)省空間，刀片服務(wù)器已成為主流；后者用于數(shù)據(jù)劃分困難或者內(nèi)容需求特別大的特殊應(yīng)用運(yùn)算等，價(jià)格較高。

l 異構(gòu)節(jié)點(diǎn)，即加速節(jié)點(diǎn)，目前的異構(gòu)節(jié)點(diǎn)通常同時(shí)使用CPU以及加速器設(shè)備（GPU、MIC等），或者直接采用異構(gòu)處理器，以此提升并行運(yùn)算效率。異構(gòu)節(jié)點(diǎn)也可以是計(jì)算節(jié)點(diǎn)。

l 交換設(shè)備，集群節(jié)點(diǎn)之間需要通過(guò)網(wǎng)絡(luò)連接在一起，節(jié)點(diǎn)之間的信息和數(shù)據(jù)的交換需要使用交換設(shè)備，大型集群中，計(jì)算網(wǎng)絡(luò)的交換設(shè)備往往采用大型交換機(jī)。

l I/O設(shè)備和存儲(chǔ)設(shè)備，為了使任務(wù)并行執(zhí)行，每臺(tái)執(zhí)行任務(wù)的計(jì)算節(jié)點(diǎn)必須能夠訪問(wèn)同樣的數(shù)據(jù)，同時(shí)計(jì)算產(chǎn)生的大量數(shù)據(jù)需要有較大的存儲(chǔ)空間，用來(lái)確保數(shù)據(jù)訪問(wèn)的同步；另外，高性能計(jì)算機(jī)的存儲(chǔ)系統(tǒng)還起到提高讀寫(xiě)帶寬的作用。

(2) 三類網(wǎng)絡(luò)：

l 管理網(wǎng)絡(luò)，用于管理節(jié)點(diǎn)和各個(gè)計(jì)算節(jié)點(diǎn)、I/O節(jié)點(diǎn)的互聯(lián)，管理網(wǎng)絡(luò)連接的機(jī)器就是集群內(nèi)部的本地機(jī)器，所以高帶寬和低延遲都不需要，同時(shí)可以容忍一定的過(guò)預(yù)定率。

l 計(jì)算網(wǎng)絡(luò)，用于各計(jì)算節(jié)點(diǎn)之間的互聯(lián)，是并行任務(wù)執(zhí)行時(shí)進(jìn)程間通信的專用網(wǎng)絡(luò)，并行計(jì)算機(jī)的核心就是它和集群內(nèi)的其他節(jié)點(diǎn)交換信息的能力，通常稱為IPC（Inter-process Communication）。它需要高性能的網(wǎng)絡(luò)來(lái)進(jìn)行快速交換，才能夠發(fā)揮出單節(jié)點(diǎn)的最大性能；此外，它還決定了系統(tǒng)架構(gòu)、性能和適合的應(yīng)用等。計(jì)算網(wǎng)絡(luò)一般采用千兆或萬(wàn)兆以太網(wǎng)、InfiniBand網(wǎng)絡(luò)等。

l 存儲(chǔ)網(wǎng)絡(luò)，需要向高性能計(jì)算機(jī)的節(jié)點(diǎn)提供數(shù)據(jù)訪問(wèn)服務(wù)。

高性能計(jì)算機(jī)節(jié)點(diǎn)規(guī)模龐大、硬件設(shè)備繁多，軟件配置復(fù)雜。隨著用戶數(shù)量和作業(yè)數(shù)量的增加、作業(yè)隊(duì)列數(shù)目和長(zhǎng)度的增加，有必要對(duì)高性能計(jì)算機(jī)進(jìn)行更加專業(yè)系統(tǒng)的管理和維護(hù)以充分發(fā)揮其性能。

圖 6 浪潮集團(tuán)建構(gòu)的超級(jí)計(jì)算機(jī)生態(tài)結(jié)構(gòu)圖

超級(jí)計(jì)算涉及的關(guān)鍵技術(shù)非常多，包括適用于超級(jí)計(jì)算的多/眾核處理器技術(shù)、高速大容量的數(shù)據(jù)緩存技術(shù)、能夠處理大量并發(fā)請(qǐng)求的低延遲高帶寬的互聯(lián)網(wǎng)絡(luò)技術(shù)、低能耗的降溫散熱技術(shù)、任務(wù)調(diào)度技術(shù)、大規(guī)模并行文件訪問(wèn)技術(shù)等等。

更多詳情可點(diǎn)擊鏈接下載《超級(jí)計(jì)算機(jī)研究報(bào)告》PPT版和word版：

PPT版本報(bào)告：https://static.aminer.cn/misc/article/sc-p.pdf

word版本報(bào)告：https://static.aminer.cn/misc/article/sc.pdf