|
搜索
搜 索
高等教育領域數字化綜合服務平臺
一種 MapReduce 帶寬優化方法
本發明公開了一種 MapReduce 帶寬優化方法，包括：在 Hadoop 作業提交后，OpenFlow 控制器根據 JobTracker 發送的任務執行節點信 息，通過 Map 中間值路由策略確定執行 Map 中間值合并任務的節點， 更新對應流表項，并發送至 OpenFlow 交換機，OpenFlow 交換機通過 安全通道對其接收并安裝，然后對接收到的數據包進行流表項匹配， 若其與合并 Map 中間值行為類型匹配，則對 Map 中間值進行合并。本 發明通過結合 OpenFlow 和 Hadoop，利用 OpenFlow 交換機的數據處 理能力，對 Map 中間值，即經 map()函數作用后得到的中間元組數據 提前進行合并處理，從而大大緩解了數據遷移過程中的網絡擁塞問題， 顯著提高了 Hadoop 工作效率。
華中科技大學
2021-04-11
一種適合迭代計算的 MapReduce 優化方法
本發明公開了一種適合迭代計算的 MapReduce 優化方法，是應 用在一種 Hadoop 集群系統中，該集群系統包括一個主節點以及多個從 節點，所述方法包括：主節點接收用戶提交的多個 Hadoop 作業，主節 點的作業服務進程將作業放入作業隊列中，并等待主節點的作業調度 器進行作業調度，主節點等待從節點發來的任務請求，并在接收到任 務請求后，主節點的作業調度器優先調度本地化任務，如果在發出任 務請求的從節點上沒有本
華中科技大學
2021-04-14
一種基于多線程的 MapReduce 執行系統
本發明公開了一種基于多線程的 MapReduce 執行系統，包括： 實現一個多線程的MapReduce執行引擎：將原有Hadoop中Map/Reduce 任務的多進程執行模式改為多線程方式；提取 Map 任務和 Reduce 任 務中對內存使用的細節特征，根據這些特征將 MapReduce 流程細粒度 地分為多個階段，并將原有 Hadoop 中 shuffle 過程由 Reduce 的拉取改 為 Map 的主動推送；在 MapRe
華中科技大學
2021-04-14
一種基于MapReduce的矢量文件轉換方法和裝置
本發明提供了一種面向軌跡挖掘的數據預處理方法及系統，該方法包括：在原始數據庫中提取離散的軌跡點，對軌跡點進行歸類提取后形成若干個獨立的軌跡段集合；對每一軌跡段集合中的軌跡點進行重復定位點檢測，若判斷該重復定位點為歷史定位點，則刪除；對每一軌跡段集合中的軌跡點進行定位異常點檢測，若判斷為定位異常點，則刪除該軌跡點，得到若干條完整的軌跡；對所述完整的軌跡進行簡化壓縮，得到壓縮軌跡；存儲所述壓縮軌跡；同時對系統運行狀態進行監控，保證系統可以持續、穩定運行。本發明提供的方法通過對提取出的軌跡點進行重復定位點以及定位異常點清除，保證了軌跡數據的正確性和完整性，提高了軌跡數據挖掘的準確度。
中國農業大學
2021-04-11
一種基于 MapReduce 的負載自適應任務調度方法
本發明公開了一種基于 MapReduce 的負載自適應的任務調度方 法，包括：(1)動態監測 Hadoop 集群負載狀態，(2)動態監測集群各執 行節點在執行任務過程中產生的軟件信息，(3)動態監測集群各執行節 ·841·點在執行任務過程中的硬件信息，(4)匯總步驟(1)、步驟(2)及步驟(3) 中采集的集群各執行節點的負載監控信息、軟件監控信息以及硬件監 控信息三方監控信息，建模計算集群各執行節點的計算能力，(5)執行
華中科技大學
2021-04-14
一種 GPU 上基于內存統一管理的 MapReduce 實現方法
本發明公開了一種 GPU 上基于內存統一管理的 MapReduce 實 現方法，包括：初始化 GPU 的塊大小為 Bs，每個塊中的線程數目 N， 輸入數據量大小 M；在全局內存上為 GPU 的每個塊分配一個中間數據 緩沖區，同時分配一個全局結果緩沖區；對 p%的輸入數據進行預處理， 在中間數據緩沖區中收集 map 任務計算結果和歸約頻率信息；根據鍵 值對的歸約頻率，對中間結果進行排序，保存鍵值對索引信息到排序 結果緩
華中科技大學
2021-04-14