登錄
微信登錄
打開手機微信,掃描二維碼
掃描成功
請勿刷新本頁面,按手機提示操作
中科曙光不會以任何理由要求您轉賬匯款,謹防詐騙
您的微信還未注冊
中科曙光不會以任何理由要求您轉賬匯款,謹防詐騙
您可以同時關注中科曙光微信公眾號
使用微信掃一掃即可登錄! 查閱資料更方便、 快捷!
您已經注冊賬號和
關注微信公眾號
2025年1月
服務熱線:400-810-0466
成功案例
項目背景
電科院協同計算系統提供方式計算數據集中管理和分散維護、多人異地協同計算以及快速的大規模電網并行分布式仿真計算功能。協同計算系統主要面向各級調度運行方式工作,包括年度/夏滾/冬滾、2~3年、月度方式計算等。按照工作需求,每次計算有幾套數據,每套數據中有許多計算分析內容,總容量在200T~300T之間。
協同計算功能包括工程管理,潮流計算,暫穩計算等。
以潮流計算為例,潮流作業表包括:LF_CASE_ACLINE、LF_CASE_COMPENSATOR_P、LF_CASE_COMPENSATOR_S、LF_CASE_DCLINE、LF_CASE_LOAD、LF_CASE_NODE、LF_CASE_UNIT等。在每個工程中,有很多個潮流作業,每個潮流作業數據量大概10w條,所有潮流作業數據都存在相同的表中,作業間以case_no區分。潮流作業數據是批量插入的,并且經常性刪除和插入,并發50個作業同時插入作業時,有較大的IO性能要求。
本系統存儲的設計需要考慮存儲的IO吞吐能力、IO帶寬等。本系統核心計算程序是fortran開發的,和系統接口的方法是采用輸入輸出文件。系統后臺使用計算機群進行計算,計算機群上的計算程序是一樣的。計算文件采用NFS方法共享給所有計算節點使用,減少了數據文件在計算節點間的傳輸,簡化了程序。但是,產生了io瓶頸,國調計算服務器21個,每個服務器上同時可以啟動10~20個計算任務,即計算任務并發數在210~420。
現有業務系統計算節點、存儲節點均采用千兆互聯的方式,在使用中存在嚴重帶寬不足等情況,影響業務運行,本期項目建設需要同步考慮將系統升級擴容至萬兆互聯。
方案設計
本次項目實為電科院內部IT系統業務系統內配套存儲及其它IT基礎解決方案的綜合性方案,要求滿足標準化、高密度、高并發、高擴展,滿足數據并發訪問處理需求。
ParaStor是曙光自主開發的分布式并行存儲系統,采用多副本、N+M糾刪碼等數據保護技術、全冗余設計,支持單一存儲命名空間、支持容量海量擴展,性能線性擴展,能夠滿足高性能計算中心海量文件并發讀寫需求。
優勢說明
1)架構優勢
ParaStor300采用元數據和數據分離的非對稱式結構,這也是國際主流的并行存儲系統架構,元數據和數據分離有助于提升存儲系統的性能和擴展性。
ParaStor300的多臺索引控制(默認配置2臺)采用多活冗余集群結構元數據存儲采用RAID6保護的SSD高速磁盤以提高元數據訪問性能。曙光ParaStor300采用更高級的元數據冗余策略。ParaStor300的元數據控制器默認配置2臺,同時支持更多的元數據控制器組成元數據集群,每臺元數據控制器均為Active在線狀態,正常工作時負載均衡并行文件系統客戶端的元數據訪問請求,一臺元數據控制器出現故障時,其它元數據控制器分擔其工作負載,接管時間非常短,且為在線切換,不中斷正在進行的IO請求,不影響并行文件系統的業務運行。
2)數據保護
與傳統磁盤陣列RAID保護技術相比,曙光ParaStor300的N+M糾刪碼技術具有明顯優勢。ParaStor300可以實現數據重建無人值守,比如深夜磁盤出現故障,傳統RAID要立即人工更換磁盤,而ParaStor300只要有剩余空間就可以自動進行數據重建;ParaStor300的數據重建并發進行,1TB數據半小時內重建完成,而傳統RAID的重建時間可能長達10小時到1天以上,而且RAID在數據重建期間磁盤負載很重,很容易出現雪崩效應,即繼續出現磁盤損耗,導致RAID降級甚至數據丟失。
本方案采用的N+M保護策略,存儲系統可以容忍M塊硬盤同時失效。實際上M塊硬盤“同時”失效的概率非常低,因為當ParaStor300的1塊硬盤失效后,系統會在很短時間內在其它硬盤上自動完成數據重建,重建完成后,ParaStor300又可以容忍M塊硬盤同時失效。數據修復過程完全無人值守。用戶只用定期更換故障硬盤即可,更換新硬盤后,ParaStor會自動進行底層數據遷移,平衡容量。
3)分級存儲
ParaStor300存儲系統支持自動透明的分級存儲功能,采用SSD和SATA磁盤相結合,既能保障存儲系統容量,又能提高存儲系統訪問性能,具有極高性價比。
用戶的熱點數據優先存放在SSD分區,冷數據自動遷移到SATA分區,回熱數據可以回遷,數據遷移策略綜合數據訪問頻率、文件大小等因素,遷移策略用戶可干預和定制。數據遷移過程在SSD和SATA磁盤之間以數據塊級別并發進行,速度快且對存儲性能影響較小,整個數據遷移過程自動透明,用戶看到的是一個統一完整的數據訪問空間。
4)擴展能力
ParaStor300分布式存儲系統具有極佳的擴展性,最大支持4096個存儲服務器節點,真正做到EB級存儲。支持在線擴容,且不影響業務系統使用。增加數據控制器后,數據對象自動實現負載均衡的遷移分布,使得整個存儲系統實現容量和性能的線性增長。
方案優勢說明
解決了傳統存儲的帶寬瓶頸問題;
曙光自帶的私有客戶端及對NFS的深度優化,解決了標準NFS協議訪問的中斷問題;
提升了系統的并發訪問能力,可以同時為多個省級節點提供計算訪問服務;
投資成本優于傳統FC SAN架構,性價比更高;
交鑰匙工程,從前期設計,到方案POC驗證,到招投標,到最后項目交付,曙光原廠工程師全程參與支持,客戶省心放心;
原廠7*24*365超白金級服務,本地化服務;