在線客服
客服熱線
010-56293071
QQ:
在線客服
服務時間:
8:30 - 18:30
>
>
數盾Hippo200在Hadoop環境中構建大數據集的解決方案

Copyright  ©  2018   北京數盾信息科技有限公司   www.bottio.com   All Rights Reserved.

京ICP備09024756號  

解決方案
優秀的密碼信息安全整體解決方案提供商。

數盾Hippo200在Hadoop環境中構建大數據集的解決方案

1、背景概述
 
Hadoop是一個能夠對大量數據進行分布式處理的軟件框架,它具有高可靠性、高擴展性、高效性、高容錯性的特點。Hadoop技術在越來越多的大數據分析場景中被采用,得以廣泛應用。Hadoop核心的兩部分HDFS和MapReduce,HDFS提供存儲能力MapReduce提供計算能力。HDFS作爲一種分布式文件系統,以流的形式訪問被寫入的大型文件,前端産生的數據先緩存到本地,再通過拷貝的方式寫入HDFS系統中,這樣就面臨著一些問題:
 
(1)集群節點內存儲資源與計算資源在一起,擴充存儲的同時必須擴充計算;
 
(2)HDFS使用多副本方式保護數據安全,意味著空間利用率低,大量數據時的存儲成本非常高;
 
(3)外部新進數據需要先做緩存再複制到HDFS,大量數據時的複制窗口時間過長,影響生産效率;
 
(4)無法依據數據被使用的頻繁,自動分成冷熱數據實現分層存放。
 
標准的Hadoop 架構
 
 
2、解決方案
 
數盾Hippo200采用ARM架構實現的新一代存儲設備,兼容主流文件、塊存儲方式,提供統一的存儲池構建數據集,支持多種訪問協議直接對接前端應用,同時支持後端計算服務訪問ARM存儲集群中數據完成計算分析。 
 
·低功耗:滿載工作情況下電量僅爲X86架構的50%,隨著規模變大或更長的運行時間,成本優勢越突出。
 
·高可靠:多副本或糾刪碼方式保護數據,硬件冗余設計及預警通知,故障自修複,容忍硬盤,節點及故障,系統更可靠。
 
·高擴展性:支持按需動態增加節點,存儲容量與並發能力同步擴容,最大可擴展至4096個節點。
 
 
數盾Hippo200 取代 HDFS
 
3、方案優勢
 
本方案爲用戶節省大量成本並帶來業務系統效率的提高,主要體現在:
 
(1)存儲資源與計算資源分離,獨立的存儲系統在運維、擴容方面更加靈活;
 
(2)支持糾刪碼技術,相比較HDFS的多副本方式明顯提升空間利用率,降低存儲成本;
 
(3)支持多訪問協議,對接各種應用平台及大數據分析平台,打造高效的數據流;
 
(4)建設統一的存儲數據集,省去緩存環節,業務數據就地滿足分析需求;
 
(5)免去從臨時存儲到HDFS文件系統的複制操作,節約大量時耗,提升大數據分析的周期;
 
(6)數據依據冷熱程度,自動分級存于不同類型的硬盤介質,降低總體成本;
 
(7)兼容POSIX,可同時提供數據給不同版本的Hadoop使用,兼容性強大;
 
(8)節省Hadoop授權費,節省耗電費用50%以上。