隨著大數(shù)據(jù)重要性的日益提高，數(shù)據(jù)處理的挑戰(zhàn)變得尤為突出。其中，數(shù)據(jù)處理對于所有數(shù)據(jù)系統(tǒng)都是必不可少的。在數(shù)據(jù)處理系統(tǒng)中，數(shù)據(jù)源是多種多樣的，并且數(shù)據(jù)量很大。如何確保數(shù)據(jù)處理的可靠性和如何避免重復數(shù)據(jù)，以及如何確保數(shù)據(jù)質量，這就需要數(shù)據(jù)處理系統(tǒng)需要一定的技術。那么大數(shù)據(jù)處理系統(tǒng)需要攻克的技術點有哪些？

現(xiàn)有的大數(shù)據(jù)處理系統(tǒng)可以分為兩類：批處理大數(shù)據(jù)系統(tǒng)與流處理大數(shù)據(jù)系統(tǒng)。以Hadoop為代表的批處理大數(shù)據(jù)系統(tǒng)需先將數(shù)據(jù)匯聚成批，經(jīng)批量預處理后加載至分析型數(shù)據(jù)倉庫中，以進行高性能實時查詢。這類系統(tǒng)雖然可對完整大數(shù)據(jù)集實現(xiàn)高效的即席查詢，但無法查詢到最新的實時數(shù)據(jù)，存在數(shù)據(jù)遲滯高等問題。

相較于批處理大數(shù)據(jù)系統(tǒng)，以Spark Streaming、Storm、Flink為代表的流處理大數(shù)據(jù)系統(tǒng)將實時數(shù)據(jù)通過流處理，逐條加載至高性能內存數(shù)據(jù)庫中進行查詢。此類系統(tǒng)可以對最新實時數(shù)據(jù)實現(xiàn)高效預設分析處理模型的查詢，數(shù)據(jù)遲滯低。然而受限于內存容量，系統(tǒng)需丟棄原始歷史數(shù)據(jù)，無法在完整大數(shù)據(jù)集上支持Ad-Hoc查詢分析處理。因此，研發(fā)具有快速、高效、智能且自主可控特點的流式大數(shù)據(jù)實時處理技術與平臺是當務之急。

　　大數(shù)據(jù)處理系統(tǒng)需要攻克的技術點有哪些？

實現(xiàn)一個融合批處理和流處理兩類系統(tǒng)且對應用透明的系統(tǒng)級方案，需要攻克以下幾個技術難點。

　　1.復雜指標的增量計算

盡管計數(shù)、求和、平均等指標能夠依靠查詢結果合并實現(xiàn)，然而方差、標準差、熵等大部分復雜指標無法依靠簡單合并完成查詢結果的融合。再者，當查詢涉及熱點數(shù)據(jù)維度及長周期時間窗口的復雜指標時，多次重新計算會帶來巨大的計算開銷。

　　2.基于分布式內存的并行計算

采用粗放的調度策略會造成內存資源的極大浪費，亟須研究實現(xiàn)一種細粒度的基于進度實時感知的融合存儲策略，以極大地優(yōu)化和提升融合系統(tǒng)的內存使用效率。

　　3.多尺度時間窗口漂移的動態(tài)數(shù)據(jù)處理

來自業(yè)務系統(tǒng)的數(shù)據(jù)查詢請求會涉及多種尺度的時間窗口，如“最近5筆刷卡交易的金額”“最近10 min內密碼重試次數(shù)”“過去10年的月均交易額”等。每次查詢請求都重新計算結果會對系統(tǒng)性能造成極大的影響，亟須研究實現(xiàn)一種支持多種時間窗口尺度、多種窗口漂移方式的動態(tài)數(shù)據(jù)實時處理方法，以快速響應來自業(yè)務系統(tǒng)的即席查詢請求。

　　4.高可用、高可擴展的內存計算

基于內存介質能夠大大提升數(shù)據(jù)分析及處理能力，然而由于其易揮發(fā)的特性，一般需要采用多副本的方式來實現(xiàn)基于內存的高可用方案，這使得“如何確保不同副本的一致性”成為一個待解決的問題。此外，在集群內存不足或者部分節(jié)點失效時，“如何讓集群在不間斷提供服務的同時重新平衡”同樣是一個待解決的技術難題。亟須研究分布式多副本一致性協(xié)議以及自平衡的智能分區(qū)算法，以進一步提升流處理集群的可用性以及可擴展性。

“流立方”流式大數(shù)據(jù)實時處理技術在上述領域取得了一系列突破，該技術提供基于時間窗口漂移的動態(tài)數(shù)據(jù)快速處理，支持計數(shù)、求和、平均、最大、最小、方差、標準差、K階中心矩、遞增/遞減、最大連續(xù)遞增/遞減、唯一性判別、采集、過濾等多種分布式統(tǒng)計計算模型，并且實現(xiàn)了復雜事件、上下文處理等實時分析處理模型集的高效管理技術。

上述就是關于大數(shù)據(jù)處理系統(tǒng)需要攻克的技術點有哪些的全部內容介紹，想了解更多關于大數(shù)據(jù)的信息，請繼續(xù)關注中培偉業(yè)。