如果開啟“天眼”,可以看到怎樣神奇的畫面?
由中國科學院國家天文臺李迪教授和王培博士領(lǐng)導的國際研究小組在《自然》雜志最新的一篇論文顯示,F(xiàn)AST累計發(fā)現(xiàn)1652次快速射電暴,超過以往文獻記載數(shù)量總和。從2011年3月25日“中國天眼”開工建設(shè)再到2020年通過國家驗收,投入正式運行。這不僅僅是天文科學的進步,也是建設(shè)數(shù)字基礎(chǔ)架構(gòu)的標志性事件。那么,它海量的數(shù)據(jù)是怎么存儲的?
中國天眼結(jié)緣浪潮存儲
中國科學院國家天文臺FAST數(shù)據(jù)中心組組長黃夢林經(jīng)歷了數(shù)據(jù)中心從無到有。
她告訴第一財經(jīng),2005年前后,F(xiàn)AST先跟當?shù)氐拇髮W合作建了早期科學數(shù)據(jù)中心,“那時候的技術(shù)肯定沒有現(xiàn)在這么發(fā)達,建一個2PB的集群得擺三個機柜”。等到FAST在2016年建成,再被稱作數(shù)據(jù)中心的現(xiàn)場,其實是集裝箱,帶有實驗的性質(zhì)。“真正開始考慮數(shù)據(jù)中心要做大規(guī)模的時候,是在2019年試運行”。
天眼搜集的數(shù)據(jù)可是大得驚人,每秒采集的數(shù)據(jù)量最多可達38G,每年新增數(shù)據(jù)量達到10PB,靈活、可彈性擴展的數(shù)據(jù)基礎(chǔ)設(shè)施成為中國天眼的剛需,首先要解決的就是存儲問題。
“一個是容量要大,因為我們機房面積有限,所以需要高密度存儲。而且需要穩(wěn)定性,因為我們的數(shù)據(jù)量大,要是異地備份需要的成本就更高。我們現(xiàn)在存數(shù)據(jù),希望它的穩(wěn)定性非常好,非常高,保證我們只有一份數(shù)據(jù)但是也不會丟。” 黃夢林說。
在建設(shè)自己的數(shù)據(jù)中心之前,F(xiàn)AST還曾經(jīng)租用過別人的機房。但是解決問題的響應(yīng)速度不好跟上,而且成本也在水漲船高。“我們也要考慮硬件和軟件的結(jié)合和以后的服務(wù)、運維方面,是一家公司協(xié)調(diào)起來更簡單,可能工作起來效率會更高,就是這樣。” 黃夢林說。也正是基于這樣的考慮,F(xiàn)AST項目開始招標建立自己的數(shù)據(jù)中心
“我們看到用戶在使用的時候,剛開始這么大的一個集群,也是面臨一種新的場景,總歸是會有需要,問題的解決處理,這個時候本土化的廠商是非常重要的。”浪潮信息首席架構(gòu)師葉毓睿介紹,F(xiàn)AST的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù),對存儲的考驗很大,一方面是存儲的擴展性,另一方面,當數(shù)據(jù)到達一定量的時候,運維管理的挑戰(zhàn)也會凸現(xiàn)出來,“管理人員還是有限的,但那么多的存儲怎么樣更好地管理,我們有一些相應(yīng)的手段”。
“裝得下”也要“用得好”
天文研究是典型的大數(shù)據(jù)場景,數(shù)據(jù)存儲不僅需要讓中國天眼“裝得下”數(shù)據(jù),更要成為全球科學家天文大數(shù)據(jù)研究的加速引擎,讓科學家們“用得好”。
黃夢林介紹,接收下來的數(shù)據(jù)都會經(jīng)過預(yù)處理,這是個自動的流程。對于進一步的數(shù)據(jù)處理,根據(jù)天文研究項目負責人的意愿來決定,如果項目負責人有需要,數(shù)據(jù)中心也可以提供處理。如果不做要求,F(xiàn)AST就直接提供觀測數(shù)據(jù)。
為了滿足這些需求,浪潮存儲以高性能節(jié)點提升天文大數(shù)據(jù)存儲、處理和分析的效率,以高密度節(jié)點“海納”天文級數(shù)據(jù),基于智能IO均衡、智能資源調(diào)度、智能元數(shù)據(jù)管理等軟件棧算法讓百萬級IO均衡落盤且路徑更短,從而實現(xiàn)數(shù)據(jù)在不同層級存儲之間能夠根據(jù)天文業(yè)務(wù)需求實現(xiàn)數(shù)據(jù)自由流動。
具體來說,浪潮存儲基于超大規(guī)模分布式存儲平臺,在一個存儲平臺內(nèi)部署高性能和高密度兩種節(jié)點,提供53PB容量、100G聚合帶寬和AIOps智能管理,為中國天眼FAST的IT基礎(chǔ)設(shè)施建設(shè)提供了支撐,完成了計算性能超兩千萬億次/秒、帶寬達100GB/秒,冷熱數(shù)據(jù)分層存儲可以容量達53PB的自有數(shù)據(jù)中心平臺建設(shè)。中國天眼采用了60余臺高密度節(jié)點AS13000G5-M60,單節(jié)點容量接近一個PB,節(jié)省了數(shù)據(jù)中心物理空間,運營成本節(jié)省了65%。
要想用得好,前路亦有挑戰(zhàn)。以AI為例,數(shù)據(jù)的采集、模型的訓練、應(yīng)用的推理還有長期的存檔讓整個存儲行業(yè)都在面臨挑戰(zhàn):數(shù)據(jù)吞吐能力,也就是每秒的操作數(shù)要求很高,存儲介質(zhì)也有變化,甚至有可能利用內(nèi)存的池化去應(yīng)對更高的存儲需求。這導致整個IT的基礎(chǔ)架構(gòu)都在根據(jù)場景的需求不斷衍生、迭代。
“在分布式存儲里其實還有很多可探索的空間,像天眼是我們看到的其中一種。”葉毓睿說,隨著需求增長,需要有更多的算力, “其實就是朝著一切皆計算機的方向去發(fā)展”。
從近日召開的湖北省市場監(jiān)管工作視頻會議上了解到,2021年,湖北市場秩序治理不斷深化,群眾幸福感、獲得感、安全感不斷提升。該省12315平更多
2022-01-19 14:47:51對外開放是我國的一項基本國策,近年來我國深入推進高水平對外開放,不斷放寬外資準入。1月18日,在國家發(fā)展改革委召開的國家發(fā)展改革委1月更多
2022-01-19 14:23:25昨日,寧德時代全資子公司時代電服,推出換電服務(wù)品牌EVOGO及組合換電整體解決方案。未來,EVOGO將選擇十個城市首批啟動換電服務(wù),并發(fā)布更更多
2022-01-19 13:21:36近日,從廣西南寧市市場監(jiān)管局獲悉,《南寧橫州市茉莉花保護發(fā)展條例》(以下簡稱《條例》)經(jīng)南寧市十四屆人大常委會第三十一次會議通過,廣更多
2022-01-14 14:50:371月13日,山東省商務(wù)工作電視電話會議在濟南召開。會議總結(jié)了2021年全省商務(wù)工作,分析了當前商務(wù)發(fā)展形勢,研究部署了2022年工作任務(wù)。山更多
2022-01-14 14:03:36離岸貿(mào)易是服務(wù)貿(mào)易的重要組成部分,是重要的外貿(mào)新業(yè)態(tài)之一。日前,商務(wù)部發(fā)布《十四五對外貿(mào)易高質(zhì)量發(fā)展規(guī)劃》,在加快發(fā)展貿(mào)易新業(yè)態(tài)方更多
2022-01-12 16:57:58為了支持中小企業(yè)發(fā)展,紓困助企,國家知識產(chǎn)權(quán)局會同相關(guān)部門出臺并推動實施了一系列政策措施,在主體培育、金融賦能、轉(zhuǎn)化運用、優(yōu)化服務(wù)等各方面為中小企業(yè)創(chuàng)新發(fā)展提供有力支持。更多
2022-01-12 16:12:572021年12月27日,由國家文物局、國家發(fā)展改革委、人力資源社會保障部、商務(wù)部、文化和旅游部、市場監(jiān)管總局六部門聯(lián)合出臺的《關(guān)于加強民間更多
2022-01-07 16:52:48教育部高校學生司司長王輝日前在教育部舉行的新聞發(fā)布會上介紹,2022屆高校畢業(yè)生規(guī)模預(yù)計1076萬人,同比增加167萬,規(guī)模和增量均創(chuàng)歷史新更多
2022-01-07 16:49:50一杯美式原價24元,減去商家對用戶的活動補貼19 3元,平臺技術(shù)服務(wù)費0 96元和履約服務(wù)費3 6元,最終預(yù)計收進(非利潤)0 14元2021年12月23日更多
2022-01-07 15:10:37