100+天激烈賽程，40+國內(nèi)頂級技術(shù)豪門對決，歷經(jīng)研發(fā)內(nèi)部測試、正式環(huán)境測試和易觀數(shù)據(jù)正式環(huán)境跑benchmark三大階段。10月28日，易觀OLAP算法大賽優(yōu)勝名單出爐！ 40+技術(shù)門派比武 易觀OLAP大賽可謂國內(nèi)算法界“武林大會”，英雄帖一發(fā)出就引起互聯(lián)網(wǎng)各大技術(shù)門派積極響應(yīng)。 吸引來自美團點評、阿里云、小米、鏈家、搜狗、科大訊飛、聯(lián)通、原速數(shù)據(jù)、樂見、AggreData、GBase 、Kyligence、PingCAP、LinkDoc、iflytek、hulu、上海睿民、熱云數(shù)據(jù)、潤乾、帆軟軟件、咪咕音樂、杭州玳數(shù)科技、上海跬智、千丁互聯(lián)、北京健科云網(wǎng)、廣州向量線科技、樂享天下、牛辦科技、北京郵電大學(xué)、北京交通大學(xué)等40多家知名企業(yè)、科研單位和個人報名參加。 6組算法新人王誕生 本次易觀OLAP算法大賽分為商業(yè)組和開源組兩個組別進行，從7月開放報名到10月正式環(huán)境跑benchmark。經(jīng)過重重考驗，終于決出6組易觀OLAP算法新人王： 商業(yè)組三甲： 第一名：PingCAP PingCAP 是國內(nèi)第一家開源的新型數(shù)據(jù)庫公司，其產(chǎn)品分布式高可用數(shù)據(jù)庫 TiDB 支持水平擴展，兼容MySql，支持分布式事務(wù)，是大數(shù)據(jù)時代理想的數(shù)據(jù)庫集群和云數(shù)據(jù)庫解決方案之一。在本次比賽中，PingCAP使用自主研發(fā)的 Magic 引擎，使用多層pipeline、智能并發(fā)等技術(shù)，以極致速度對數(shù)據(jù)進行暴力掃描，實現(xiàn)了良好的計算效果，因此獲得商業(yè)組第一名的好成績。 第二名：帆軟軟件 帆軟團隊在本次參賽使用的是帆軟自主研發(fā)的直連分布式引擎。分布式存儲系統(tǒng)基于Alluxio和HDFS，采用列式存儲方案，以Spark作為基礎(chǔ)，基于流式計算，輔以高性能查詢算法，為直連引擎提供強勁的查詢支持。面對億級數(shù)據(jù)和多維度復(fù)雜場景時，直連分布式引擎能大幅提高有序漏斗的計算的效率和準(zhǔn)確性。 第三名：GBase GBase此次參賽用的是自己的產(chǎn)品GBase 8a MPP Cluster。GBase 8a采用行列混合存儲，可處理PB級別以上的結(jié)構(gòu)化數(shù)據(jù)。同時采用先進的數(shù)據(jù)壓縮算法，有效提高IO性能。在數(shù)據(jù)處理上采用完全并行的MPP + Share Nothing的分布式架構(gòu)，支持高并發(fā)，因此在有序漏斗的實時計算中效率較高。

易觀OLAP算法大賽商業(yè)組頒獎儀式

開源組三甲： 第一名：廣州向量線科技 韋萬和李本旺 在開源組比賽中韋萬和李本旺另辟蹊徑，向北取經(jīng)。使用目前國內(nèi)鮮為人知的俄羅斯神級開源軟件ClickHouse參賽。利用ClickHouse超強分析性能和靈活的架構(gòu)特點，使得集群間節(jié)點的計算完全并行化，同時優(yōu)化底層的存儲和上層的計算細節(jié)，挖掘CPU cache、向量化執(zhí)行和具體算法優(yōu)化方面的潛力。憑借在時效和精度上的優(yōu)異表現(xiàn)，韋萬和李本旺團隊成為本屆大賽最大黑馬，獲得開源組第一名。 第二名：美團點評 孫業(yè)銳 美團點評團隊基于自身的業(yè)務(wù)優(yōu)勢經(jīng)驗，設(shè)計了本次參賽的解題思路。用bitmap快速過濾和基于時間戳序列匹配的算法，利用Apache Spark、Alluxio等開源框架快速落地實現(xiàn)，使用了一系列工程優(yōu)化方法，在每日數(shù)百億條日志和百萬屬性的數(shù)據(jù)集上，實現(xiàn)有序漏斗的秒級查詢。在易觀正式數(shù)據(jù)環(huán)境中，在26億數(shù)據(jù)，400萬用戶，幾十個屬性的場景下，美團點評團隊均實現(xiàn)了快速查詢。 第三名：北京郵電大學(xué) 盧躍凱 易觀OLAP算法大賽還吸引了來自計算機名門高校的個人選手。北京郵電大學(xué)的研究生盧躍凱，采用了HDFS作為儲存，將Spark作為數(shù)據(jù)預(yù)處理和核心過濾算法實現(xiàn)。借鑒最長遞增子序列的存儲和更新思想，將查找每個用戶轉(zhuǎn)化率的時間復(fù)雜度變?yōu)榱?（n），提升了漏斗計算的效率。

易觀OLAP算法大賽開源組頒獎儀式

開源組10萬元現(xiàn)金獎勵 易觀OLAP大賽為每組前三名的團隊頒發(fā)獲獎證書，同時開源組第一名還將獲得UCloud提供的10萬元現(xiàn)金獎勵。據(jù)悉，韋萬和李本旺獲得開源組第一名后注冊了自己的公司，將對算法技術(shù)進行更深入的研究和落地實踐。

開源組第一名10萬元現(xiàn)金獎勵授予儀式

賽制公正具有含金量 2017易觀OLAP算法大賽在“有序漏斗”的實時計算效率和精確度上得到突破性的好成績，這離不開易觀海量的數(shù)據(jù)支撐以及UCloud強大的技術(shù)支持。 一直以來，UCloud都是易觀良好的合作伙伴，本次大賽UCloud為所有參賽團隊提供了穩(wěn)定的底層IT計算資源服務(wù)。比賽在4臺UCloud云主機16核、16G內(nèi)存、SSD數(shù)據(jù)盤300G硬件的環(huán)境下進行。比賽時現(xiàn)給出8個不同的場景，同時開始計時，每個場景的運行時間須在8分鐘以內(nèi)，8個場景總體比賽時間在1小時內(nèi)，以此考察參賽團隊在不同場景下的實時計算精度和用時效率。每個場景根據(jù)事件的數(shù)量、事件的復(fù)雜程度、事件的屬性、時間窗口的大小等差異賦予不同的權(quán)重。總分為單個場景乘以該場景權(quán)重的累加所得。在8個場景中，運行時間最短且精確度最高的隊伍獲勝。在正式數(shù)據(jù)環(huán)境開跑階段，還進行全程錄像，確保比賽成果的含金量。 作為易觀A10峰會的重要項目，OLAP算法大賽不僅為技術(shù)黑馬提供大展拳腳的道場，同時還為行業(yè)挖掘出更多技術(shù)型人才和更優(yōu)秀解決方案。做技術(shù)領(lǐng)域的“伯樂”，讓世界看到更多“黑馬”，易觀致力于推進大數(shù)據(jù)應(yīng)用創(chuàng)新。未來，易觀OLAP大賽取得的成果將用于數(shù)據(jù)產(chǎn)品的研發(fā)當(dāng)中，從技術(shù)應(yīng)用層面實踐“數(shù)以致用”。