2015年12月10日至12日，由中國計算機學會（CCF）主辦，CCF大數(shù)據(jù)專家委員會承辦，中國科學院計算技術研究所、北京中科天璣科技有限公司與CSDN共同協(xié)辦的2015中國大數(shù)據(jù)技術大會在北京盛大開幕。京東受邀參加，多位技術專家就大規(guī)模內(nèi)存數(shù)據(jù)庫、實時數(shù)據(jù)平臺、大數(shù)據(jù)在廣告中的應用、京東大數(shù)據(jù)生態(tài)等話題進行了分享，全面展示大數(shù)據(jù)技術研究和應用成果，顯示出京東通過業(yè)務和技術雙驅(qū)動的強勁競爭力。 劉海鋒：大規(guī)模內(nèi)存數(shù)據(jù)庫JIMDB 在2015中國大數(shù)據(jù)技術大會首日全體會議中，京東云平臺總架構師、系統(tǒng)技術部負責人劉海鋒帶來了名為《大規(guī)模內(nèi)存數(shù)據(jù)庫JIMDB：從2014到2016》的主題演講。他介紹了大規(guī)模的以內(nèi)存為中心的新型數(shù)據(jù)庫——JIMDB，包括它過去兩年的發(fā)展歷程、技術脈絡以及是怎么支撐起京東的電商業(yè)務。 電商業(yè)務需要非常迅捷的數(shù)據(jù)訪問，這不僅是用戶體驗的需求，也是技術開發(fā)人員提升效率的需求，因此，京東延續(xù)數(shù)據(jù)庫領域的泰斗級人物Jim?Gray的“Memory?is?the?new?disk（內(nèi)存是新的磁盤）”理念，從2014年開始啟動了JIMDB。 JIMDB的全稱為Jingdong?In-Memory?Database，是一種新型的以內(nèi)存為中心的全托管、全管理服務化的數(shù)據(jù)庫，主要針對靈活類型、半結構化數(shù)據(jù)的快速存取訪問。 JIMDB最早基于Redis，但京東團隊對它進行了持續(xù)的改進與重新實現(xiàn)。目前，JIMDB已能滿足電商業(yè)務所需要的自動故障切換、在線彈性擴展、靈活復制與全自動化運維等需求，在生產(chǎn)環(huán)境達到數(shù)千機器、數(shù)萬容器實例的大規(guī)模應用，支撐了京東海量的在線業(yè)務。 劉海鋒舉出了JIMDB的實際成效案例，“內(nèi)存存儲帶來了極佳的、非常穩(wěn)定的性能。以京東線上某個比較重要的集群為例，在雙11期間它整體的QPS超過200多萬，而且99%的請求在2毫秒之內(nèi)返回。JIMDB讓用戶體驗更好，讓我們的業(yè)務開發(fā)起來更加簡單，讓運維工作更加省心、更加輕松?！? 劉海鋒透露，京東未來還將從專署集群過渡到聚合各個IDC的RAM資源，聚合整個RAM資源，讓數(shù)據(jù)動態(tài)流動、降低整體硬件成本。他認為，“內(nèi)存是存儲的未來”一定是趨勢所在。 劉彥偉：讓更多人玩轉大數(shù)據(jù) 京東大數(shù)據(jù)平臺研發(fā)負責人劉彥偉做了題為《京東實時數(shù)據(jù)平臺的實現(xiàn)和應用》的主題演講。他表示，京東希望通過打造一個優(yōu)秀的大數(shù)據(jù)基礎平臺，降低京東大數(shù)據(jù)消費的門檻，讓更多的人能夠玩轉大數(shù)據(jù)，讓每個人都成為大數(shù)據(jù)的專家。 京東這兩年發(fā)展非?？?，大數(shù)據(jù)也呈現(xiàn)了同步快速發(fā)展態(tài)勢。截止2015年Q3京東大數(shù)據(jù)基礎平臺整體容量突破90PB，每天新增超過1PB數(shù)據(jù)，每日掃描數(shù)據(jù)量超過了5PB，每天約有20萬個作業(yè)運行。 京東大數(shù)據(jù)平臺是以平臺化的思維為整個京東提供大數(shù)據(jù)基礎服務，其中包括硬件資源、平臺工具、數(shù)據(jù)服務、用戶畫像、技術輸出等，希望通過基礎設施和工具的建設，讓更多的用戶可以自助地在平臺上做自己的大數(shù)據(jù)業(yè)務。 劉彥偉介紹說，整個京東大數(shù)據(jù)平臺分兩部分，一部分是離線的數(shù)據(jù)平臺，一部分是實時的數(shù)據(jù)平臺。2014年之前還是離線的數(shù)據(jù)處理為主，2014年之后，不論是業(yè)務上還是技術上，對實時的要求越來越迫切，因此京東打造了實時數(shù)據(jù)平臺。 從京東商城、京東金融、京東智能、京東到家的各個業(yè)務條線，每天都在產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)通過統(tǒng)一的平臺“數(shù)據(jù)直通車JDBUS”實時接入，統(tǒng)一在JDQ實時數(shù)據(jù)總線實時存儲，再通過實時計算平臺JRC完成實時計算，可供精準化營銷、實時運營決策、實時監(jiān)控等領域使用。 京東大數(shù)據(jù)平臺通過技術解決了三大難題：第一數(shù)據(jù)接入的問題，第二數(shù)據(jù)存儲的問題，第三數(shù)據(jù)計算的問題。在京東首頁“猜你喜歡”的模塊，就是基于離線的用戶畫像、商品畫像并結合用戶的實時瀏覽行為，經(jīng)過復雜的實時推薦算法提供的。在站外的廣告位，比如新浪，也會基于實時的模式打造個性化推薦。而在對商家服務的京東數(shù)據(jù)羅盤中，為商家提供的數(shù)據(jù)決策支持系統(tǒng)也是一個典型應用。商家可以看到實時的訂單、用戶、瀏覽等營銷數(shù)據(jù)，幫助商家提升自己的運營效率、效果。 萬昊：大數(shù)據(jù)技術在京東廣告中的應用 京東數(shù)字營銷大數(shù)據(jù)高級總監(jiān)萬昊發(fā)表了《大數(shù)據(jù)技術在京東廣告中的應用》的主題演講，分享了京東在廣告上大數(shù)據(jù)的實踐。 萬昊認為，大數(shù)據(jù)并不必然就一定有效果。除非人們能從中發(fā)現(xiàn)有用的信息和規(guī)律，這才是大數(shù)據(jù)真正重要的地方。傳統(tǒng)營銷中人群定向是一種退而求其次的方法，廣告主直接找到他的核心或潛在用戶才是最直接的。而京東大數(shù)據(jù)就可以實現(xiàn)這種直接的定向，比如定向看過或買過指定商品的、指定品牌和店鋪的用戶。 京東怎么知道用戶在京東的體驗得到滿足了呢？這也有可以量化的指標衡量：用戶購買的商品總額和商品數(shù)。京東廣告將此兩個指標作為主要優(yōu)化目標，實現(xiàn)的方法是大規(guī)模機器學習、標簽標引。 萬昊說，京東的搜索廣告和推薦位廣告是一套架構。同一個廣告單元，可以有兩種定向：購物行為定向和搜索定向，排序根據(jù)質(zhì)量因子×出價決定。所謂質(zhì)量因子就是機器學習模型起效的地方，比如用戶看了兩個商品，卻只買了其中一個，肯定是對一個感興趣，對另一個興趣不大。京東廣告使用深度學習技術來預估用戶的興趣，根據(jù)結果選擇讓何種廣告處在更顯眼的位置上。這樣，用戶買到了他想買的東西，廣告商推廣賣出了自己的東西，京東幫助用戶選到了心儀的商品，同時也從廣告商那收到了廣告費，達到三贏的狀態(tài)。 杜宇甫：構建大數(shù)據(jù)生態(tài)環(huán)境 京東集團云平臺數(shù)據(jù)首席架構師杜宇甫發(fā)表了題為《構建大數(shù)據(jù)生態(tài)環(huán)境》的主題演講，他的演講內(nèi)容包括大數(shù)據(jù)的產(chǎn)生歷史，大數(shù)據(jù)的分析過程以及對于大數(shù)據(jù)生態(tài)的思考。 杜宇甫表示：生態(tài)的意義在于整個系統(tǒng)中包含了數(shù)據(jù)的生產(chǎn)者、分解者和消費者。每次信息革命，人類的數(shù)據(jù)都在不斷增大，當“互聯(lián)網(wǎng)+信息”爆發(fā)的時候也即是人類進入大數(shù)據(jù)時代的開端。杜宇甫將大數(shù)據(jù)生態(tài)分為：數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)建模和分析、數(shù)據(jù)應用五個階段。五個階段環(huán)環(huán)相扣，讓數(shù)據(jù)在生態(tài)中進行自主運轉。 杜宇甫認為，消費不足并不是因為需求不足，而是由于產(chǎn)能供給不足，只有創(chuàng)新才能激發(fā)新的消費空間。 針對創(chuàng)新激發(fā)需求這個問題，京東建立了數(shù)據(jù)云平臺，目的是想建立一個大的數(shù)據(jù)生態(tài)環(huán)境，讓數(shù)據(jù)能在這個生態(tài)中循環(huán)起來。在這個生態(tài)里，任何一個人，在任何一個環(huán)節(jié)上都能夠用起來，玩起來?！爱斢脩魯?shù)據(jù)不足，無法用于決策和優(yōu)化推廣的時候，我們可以為用戶提供咨詢服務，幫用戶做數(shù)據(jù)收集；我們也有數(shù)據(jù)市場（京東萬象數(shù)據(jù)開放平臺）可以進行數(shù)據(jù)共享和交易；如果用戶不懂數(shù)據(jù)價值，我們可以提供數(shù)據(jù)專家?guī)椭脩敉诰騼r值；如果用戶無法支持海量數(shù)據(jù)分析，我們可以提供分布式數(shù)據(jù)集群，硬件和軟件資源幫用戶處理數(shù)據(jù)；在上層我們提供數(shù)據(jù)生成工具，把整個數(shù)據(jù)環(huán)節(jié)串聯(lián)起來，最終幫用戶將數(shù)據(jù)變現(xiàn)和產(chǎn)生更多商業(yè)價值。數(shù)據(jù)的交易和增值，開放和共享不僅給企業(yè)自身帶來價值，同時也會為其他的企業(yè)和整個社會帶來積極的影響?！? 京東數(shù)據(jù)云生態(tài)包含：數(shù)據(jù)采集工具、離線+流式數(shù)據(jù)分析平臺（BDS：Big?Data?Service）、實時數(shù)據(jù)分析平臺（RAS：Real-time?Analytic?Service）、數(shù)據(jù)集成平臺（DAG：Data?API?Gateway）、數(shù)據(jù)交易平臺（萬象），以及云海數(shù)據(jù)。為用戶提供咨詢服務、數(shù)據(jù)專家、數(shù)據(jù)分析能力、數(shù)據(jù)開放支持、數(shù)據(jù)增值服務等全業(yè)務線解決方案。京東數(shù)據(jù)云依托京東基礎云穩(wěn)定強大的IAAS底層服務系統(tǒng)，在基礎云之上架設了數(shù)據(jù)云生態(tài)系統(tǒng)，值得用戶信賴。 京東的精彩分享引發(fā)了大數(shù)據(jù)技術大會與會者的強烈關注，也成為現(xiàn)場互動最為熱烈的幾個場次。業(yè)界人士認為，京東的大數(shù)據(jù)技術分享務實而前瞻，體現(xiàn)了京東在電商技術和大數(shù)據(jù)應用領域的行業(yè)領袖地位以及技術對推動京東高速成長的顯著貢獻，其對先進技術的應用和緊貼業(yè)務發(fā)展的實踐為行業(yè)提供了非常有價值的參考，對提升互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)應用水平起到了推動作用。