<output id="xysh8"></output>
      <meter id="xysh8"><menuitem id="xysh8"><del id="xysh8"></del></menuitem></meter>

      <small id="xysh8"></small>
        <meter id="xysh8"></meter>
      
      
    1. 當前位置:首頁 - 新聞資訊 - 行業動態

      干貨 | 深信服行為感知系統核心技術大爆料

      發布時間:2017-05-09 瀏覽次數:1209
      超過一萬三千臺設備在線運行;

          平臺內部組件零故障;

          目前支持的用戶業務數據中,最大能達到每日20億條記錄,數據容量達到48TB,總計1200億條原始記錄,超過2000億條視圖記錄;

          每間隔5分鐘同步更新超過50個數據倉庫,視圖總計50億條記錄;

          統計查詢視圖做到秒級返回。

          這就是深信服上網行為管理最新推出的行為感知系統,擁有強大的數據計算和服務能力。該系統基于上網行為管理的海量上網日志,對用戶行為特征進行深度建模分析,幫助企業發現用戶行為風險,一經問世就獲得大量用戶的好評。

          那么這個被稱為“上網行為管理又一顛覆式創新”的數據分析平臺是如何實現高性能、高穩定性及可擴展能力的?它有哪些自主研發的核心技術?

          整體架構


          行為感知系統整體架構圖

          深信服行為感知系統整體基于MapReduce計算框架,通過機器學習、圖計算等多種先進算法,對上網行為進行多種建模分析,最后通過直觀的應用商店和數據分析應用展現出來。今天我們就來解密其中幾個核心技術:MapReduce框架、MVCC機制、mdi索引等。

          可擴展的大數據集:MapReduce框架
      centen
          MapReduce是一個分布式并行計算的軟件框架,它的核心能力是將一項大任務,分解成多個互不干擾的并行的小任務,利用多CPU和多機器的計算資源提升性能。

          區別于傳統數據庫順序執行的計算方式,MapReduce框架的優勢是可彈性擴展的計算能力。行為感知系統基于MapReduce,但做了許多獨特的創新:

      1、 MapReduce組件化,針對不同業務可快速替換組件,改進和優化更容易;

      2、 MapReduce組件對象常駐內存,用完即毀,無需狀態維護;

      3、 采用C/C++實現,消除語言級別性能問題。

          實現并發一致性:MVCC機制

          MVCC機制即多版本并發控制機制,要解決的核心問題是并發一致性問題。舉例來說,如果有多個人要同時讀、寫數據庫中同一條記錄的時候,該如何保障數據的一致性?

          傳統的解決思路是加一把鎖,讓不同的用戶串行化執行,一個人操作完下一個人才能才開始操作,但是這種方法無疑形成了一個瓶頸,無法滿足大量并行計算的要求。

          MVCC機制通過多版本數據鏡像的方式,在保障數據一致性的前提下,滿足海量并發訪問的性能要求。行為感知系統不僅解決讀寫沖突問題,還具備如下特點:

      1、數據修改/刪除實現存儲順序化,避免隨機更新,最大化利用磁盤IO性能;

      2、數據按版本備份,并支持自動化恢復;

      3、并行處理數據的批量更新。

          毫秒級查詢:mdi索引

          關系數據庫的索引技術被吐槽多年。例如MYSQL的innodb引擎和myisam引擎的索引,實際上只能針對小數據量(百萬級)起作用,如果數據上了千萬級索引就基本是個負擔。

          更有甚者,一個表的索引字段一旦多起來不僅空間消耗大,影響建表速度,而且查詢的執行計劃有時還選擇了最差路徑,實在令人難以接受。

          深信服獨立研究并實現了一個多維索引引擎(mdi)。通過關鍵字全文索引、位圖索引、行程索引幾個維度的索引組合提升索引的構建和查詢速度。在億級別數據下的搜索性能也能達到毫秒級返回。

          正是基于對用戶需求的深刻洞察,才會有深信服行為感知系統的顛覆式創新。同時,行為感知系統通過不斷推出不同場景的數據分析應用,比如泄密追蹤分析、全網上網勢態、校園網貸分析等,為用戶持續挖掘數據價值,幫助組織洞悉行為風險,簡化運維管理。

          深信服智安全專注做實用的安全,能夠幫助組織更有效地檢測并阻止安全威脅,降低IT業務創新過程中的各種風險,為您的網絡、數據和組織提供全面保護,讓每個組織的安全建設更有效、更簡單。
      【返回上頁】 【打印本頁】
      欧美性爱AV,欧美性爱大片,欧美Av无码高清在线