本發(fā)明公開(kāi)了一種Spark平臺Shuffle過(guò)程壓縮算法決策方法。本方法為:1)Spark平臺根據RDD的依賴(lài)關(guān)系生成有向無(wú)環(huán)圖DAG,并根據RDD的依賴(lài)關(guān)系將DAG劃分成不同的階段;2)根據用戶(hù)提供的所在集群的基礎數據以及目標作業(yè)信息,計算Shuffle過(guò)程用到壓縮算法的兩個(gè)不同過(guò)程不使用壓縮算法時(shí)以及使用不同壓縮算法時(shí)帶來(lái)的總收益、總消耗;3)根據不同壓縮配置下得到的所述總收益、總消耗計算執行該目標作業(yè)的整個(gè)Shuffle過(guò)程中對應的總開(kāi)銷(xiāo);然后根據總開(kāi)銷(xiāo)確定該集群運行該目標作業(yè)采用的配置組合。本發(fā)明保證了Spark平臺的穩定性,具有可擴展性、成本低、效率高等優(yōu)點(diǎn)。
- 網(wǎng)站首頁(yè)Home
-
新聞資訊
News
歡迎訪(fǎng)問(wèn)我們網(wǎng)站
-
科技資源
Resources
-
科技服務(wù)
Service
-
交易公示
Publicity
-
合作伙伴
Partner
-
我要發(fā)布
Release
-
風(fēng)采大廳
Events
-
聯(lián)系我們
Contact
江蘇淮海技術(shù)產(chǎn)權交易中心是由江蘇淮?？萍汲?、徐州市科技局和中國礦業(yè)大學(xué)國家大學(xué)科技園聯(lián)合出資設立的，專(zhuān)業(yè)從事技術(shù)成果轉化、轉移與技術(shù)產(chǎn)權交易的服務(wù)機構。
發(fā)明專(zhuān)利
-
專(zhuān)利名稱(chēng)：一種Spark平臺Shuffle過(guò)程壓縮算法決策方法專(zhuān)利類(lèi)型：發(fā)明專(zhuān)利專(zhuān)利號：CN201710695285.9發(fā)布日期：2025-12-19授權公告日：
-
詳細內容
掃描訪(fǎng)問(wèn)手機版 科技與知識產(chǎn)權
友情鏈接
關(guān)于我們
電話(huà)：0516-83896168 傳真：0516-83896168 郵箱：jshtec@163.com 網(wǎng)址：www.jshtec.com 地址：江蘇徐州市金山東路中國礦業(yè)大學(xué)國家大學(xué)科技園科技大廈
