电竞竞猜在线

當前位置:电竞竞猜在线 > 國內 > 正文

騰訊進一步擁抱開源:主導Apache社區新一代分布式存儲係統Ozone 1.0.0發布

作者: 編輯 來源:互聯網 發布時間:2020-09-25

┊文章閱讀:

剛剛獲悉,由騰訊雲大數據團隊主導的Ozone 1.0.0版本在Apache Hadoop社區正式發布。據了解,經過2年多的社區持續開發和內部1000+節點的實際落地驗證,Ozone 1.0.0已經具備了在大規模生產環境下實際部署的能力。

Ozone是Apache Hadoop社區推出的新一代分布式存儲係統,它的出現滿足了大量小文件的存儲問題,解決了Hadoop分布式文件係統在可擴展性上的缺陷。作為Hadoop生態圈的一款新的對象存儲係統,能夠支持百億甚至千億級文件規模的存儲。

騰訊雲大數據團隊Ozone項目負責人陳怡表示,作為大數據領域的領導廠商,騰訊是國內一線互聯網公司中最早加入社區的,目前已經在Ozone項目上已經主導完成了集群網絡拓撲感知的開發,以及數據寫入Multi-Raft Pipeline功能的開發。同時,主導的StorageContainerManagerSCM高可用HA功能也正在開發中。

Ozone架構圖

以集群網絡拓撲感知來說,在傳統的大數據構架下,有了網絡拓撲結構,計算引擎的調度器可以將任務調度到離數據最近的節點來獲取“數據的局部性”。即便是新興的計算存儲分離構架,同樣也需要集群網絡拓撲信息,來保證數據的故障容錯能力和高可用性。

陳怡進一步介紹說,在Ozone的Alpha發布後,騰訊內部的大數據平台上線了Ozone生產集群,承接了一部分業務的數據存儲。隨著數據服務體量的增加,逐漸發現Ozone寫入性能顯現出了一定的波動和瓶頸。基於這個發現,騰訊Ozone項目組設計並開發了數據寫入Multi-Raft Pipeline功能,顯著的提升了Ozone的寫入吞吐量和性能。

此外,為了測試Ozone整體的穩定性和性能,作為部署應用的先鋒小隊,騰訊內部部署了一個1000個數據節點的集群。進行了長達幾個月的穩定性和壓力測試。期間團隊遇到並解決了各種OOM、節點Crash、性能低於預期等問題。經過全麵的優化之後,單集群1000個節點現已能長時間穩定運行,並且所有的數據都校驗確認正確無誤。

除了1000個節點集群的測試,1.0.0版本還進行10億個元數據對象的測試和優化,進一步解決長期困擾HDFS的大量小文件問題。目前Ozone 1.0.0能夠輕鬆支持10億個10KB小對象的寫入,同時元數據節點內存使用不超過64GB。

為了確保Ozone和Hive、Spark、Impala等計算框架的無縫對接,Ozone 1.0.0進行了和Hive LLAP、Spark以及Impala的集成測試。TPC-DS的測試表明,在100GB和1TB兩種數據量大小下,Ozone總體比HDFS有3.5的優勢。

經過不斷的測試和優化,升級後的Ozone 1.0.0在版本功能上有了質的跨越。除了支持 Hadoop Compatible FileSystem、Hadoop 2.x以及 Hadoop3.x環境,Ozone 1.0.0還兼容Hadoop生態的Kerberos認證體係,支持數據的用戶無感知加密存放和Ranger授權集成、GDPR“Right to Erasure”以及網絡構架感知。

未來,騰訊雲大數據還將發揮自身技術優勢和積累,在Ozone的基礎上開發基於SCM的新一代高性能分布式文件係統,並持續推進Ozone在更多騰訊內外部業務的實踐落地,部署更大規模的生產集群。同時,進一步擁抱開源,深度參與Hadoop社區,提高Ozone的可靠性、穩定性和性能,將其打造成新一代大數據文件和對象混合存儲係統。

值得一提的是,騰訊大數據團隊除了在Ozone項目上的貢獻之外,近年來在開源領域的貢獻正在逐步加速,目前已完成了大數據核心能力全開源。同時,還結合實際業務場景推動開源技術加速落地,通過技術實踐和創新持續回饋社區貢獻開源。在Apache基金會的大數據項目上,騰訊已經為主流的Hadoop、Spark、Flink等項目貢獻了大量的特性和patch。

  • 分類目錄
  • 軟文發布平台
  • 勞務外包公司
  • 帆布水池
  • 運維開發網
  • 小程序開發
  • 淘寶優惠券
  • IT新聞
  • 淘寶erp
  • 植物提取物網
  • 站長網
  • 源碼論壇
  • 激光打標機
  • 丹泊儀器
  • 礦山生態修複
  • 青島月子會所
  • 知識付費
  • 辦公家具
  • 呱呱讚小程序
  • 淄博java培訓
  • 小程序開發
  • seo外包公司
  • 盈江新財網
  • 工程拍照軟件
  • 速賣通論壇
  • 極客網
  • 甘州文化網
  • 優鞋論壇
  • 寧波小程序開發
  • 域名論壇
  • 微軟crm
  • andon係統
  • 鄭州網站建設
  • seo學習網
  • 奢侈品回收
  • 一對一輔導
  • 黑客視野新聞