數據量爆棚難以負荷，kyligence利用人工智能打造新一代數據分析平臺

2019-01-07 21:00來源://

原標題：數據量爆棚難以負荷，kyligence利用人工智能打造新一代數據分析平臺

本文大概

4383

字

8

分鐘

希望在整個大數據行業(yè)里面，有一家專門做底層技術的創(chuàng)業(yè)公司能夠在行業(yè)內做些突破，做點不一樣的事情，這是kyligence創(chuàng)立的初衷。

文：竇悅怡

成立kyligence之前，韓卿曾任ebay全球分析基礎架構部大數據產品負責人、actuate中國首席顧問等職。

同時，他也是首個來自國內的apache軟件基金會頂級項目vp，首個來自中國的apache頂級開源項目，apache kylin的創(chuàng)建者及項目委員會主席(pmc chair)，負責kylin的戰(zhàn)略規(guī)劃、發(fā)展路線圖及產品設計等，并致力于發(fā)展 apache kylin 全球社區(qū)，構建生態(tài)系統及推廣等。

（kyligence創(chuàng)始人韓卿）

憑借著在大數據、數據倉庫、商業(yè)智能、數據分析等領域擁有豐富的經驗，韓卿發(fā)現kylin項目在商業(yè)領域的需求非常大，有著很多外部需求，這些需求遠遠超過他們當時團隊的工作職責。

另一方面，成功的開源項目背后都有一個好的創(chuàng)業(yè)公司，只有這樣才可以更健康地發(fā)展社區(qū)，更好地促進生態(tài)建設，讓更多客戶去使用開源項目。

“我們希望在整個大數據行業(yè)里面，有一家專門做底層技術的創(chuàng)業(yè)公司能夠在行業(yè)內做些突破，做點不一樣的事情。這些是我們創(chuàng)立kyligence的初衷?！?/p>

于是韓卿帶領kylin核心團隊，于2016年3月在上海成立了kyligence公司。kyligence是一家專注大數據分析的創(chuàng)新型公司，可以為企業(yè)提供基于apache kylin的下一代企業(yè)級數據倉庫及商務智能大數據分析平臺和解決方案。

-1 -

數據量爆棚的時代

傳統數據倉庫需要變革

韓卿告訴i黑馬＆數字觀察，1990年前后，數據倉庫技術理論被提出，這個理論認為應該把企業(yè)各個分散的業(yè)務數據整合起來，構建一個統一的數據倉庫，為企業(yè)分析和應用分析提供一個統一的平臺，企業(yè)能夠在這個平臺上構建整個分析應用。

目前，這項技術已經變成了絕大部分行業(yè)客戶的基礎技術，像金融、運營商、零售等行業(yè)的業(yè)務分析都已經構建在這樣的基礎技術之上了。以金融行業(yè)為例，銀行要進行各種各樣的分析，尤其是風控分析，都需要建立在對不同業(yè)務模塊數據的統一分析之上。

不過，2006年后開始，云計算的蓬勃發(fā)展，各個領域的企業(yè)都紛紛開始上云，由此很多的數據不斷地大量涌現，這時候企業(yè)如果在云上建一個分析倉庫，就要面臨各種挑戰(zhàn)。

首先，數據體量變得越來越大，呈現越來越多樣性和復雜性的特質。但傳統的數據倉庫與應用系統是分開的，用戶做分析做工程時，基本上是從每塊業(yè)務數據那里直接把數據拿過來進行分析就行了。這樣操作的問題在于，要把這么多不同的業(yè)務數據整合到一起是一個巨大的挑戰(zhàn)。

其次，存儲的成本和性能上，原有的數據倉庫技術已經不能滿足企業(yè)快速增長的業(yè)務需求?！皞鹘y的建模方式，是需要通過漫長的數據轉換過程，把轉換后的數據放到數據倉庫里，最后基于這樣的倉庫，企業(yè)還要建非常多的分析模型、報表、預測，通常這樣的項目要耗費大量人力，花費好幾個月的時間，甚至是用年來計算的?！?/p>

第三，雖然業(yè)界推出了依靠更加專業(yè)的數據科學家來解決問題的解決方案，但本質上還是在依賴大量的人工進行工作，如果沒有革新性的變化的話，人力是不會被解放出來的，那這個行業(yè)也不會發(fā)生根本性的改變。

“未來的數據分析也應該是融合的，不需要關心這個數據的來源，而將更多的精力放在關注數據所帶來的業(yè)務決策上，這就是kyligence正在不斷優(yōu)化和創(chuàng)新的融合、智能數據倉庫。”

（15倍性能提升的同時節(jié)省50%空間）

kyligence做的事情是基于apache kylin，為企業(yè)客戶提供下一代企業(yè)級數據倉庫及商務智能大數據分析平臺和解決方案，從私有部署到云計算平臺，都能使用戶在超大規(guī)模數據集上獲得極速的洞察能力，以釋放數據價值，驅動業(yè)務增長。

-2 -

打造企業(yè)級大數據分析平臺

i黑馬＆數字觀察了解到，kyligence的核心產品是基于apache kylin的企業(yè)級智能大數據分析產品kyligence enterprise。這是一個基于hadoop的企業(yè)級智能大數據分析平臺，可以為業(yè)務分析師、數據科學家和 it 工程師提供融合的、智能的分析平臺。

簡單來說，kyligence enterprise采用融合架構，智能地將查詢路由至最適合的查詢引擎，同時滿足性能敏感的關鍵業(yè)務查詢和自由靈活的探索式分析，為企業(yè)用戶提供統一的大數據查詢入口。

（kyligence enterprise 架構）

其次，平臺基于hadoop架構，通過橫向擴展將數據處理能力提升至pb 級；通過預計算技術生成聚合結果，再結合先進的索引技術，相比其他解決方案，將查詢性能提升數十至數百倍。

第三，平臺引入了大量的機器學習技術，其專利的自動化建模技術可基于分析師的查詢行為和歷史，智能化地推薦數據模型，自動化地調優(yōu)性能，加速關鍵業(yè)務分析場景。

在保持pb級數據集上亞秒級查詢響應速度的同時，平臺可以支持無需編程的智能化自助式建模，并與主流bi工具實現無縫集成。

同時，在開源apache kylin核心功能之外，對企業(yè)用戶所關注的實施效率、安全控制、性能優(yōu)化、自助式敏捷bi、系統監(jiān)控和管理等方面進行了全面創(chuàng)新和增強。

“2018年7月發(fā)布的最新版kyligence enterprise，相比較以往的版本更是實現了查詢提速15倍的同時節(jié)省50%存儲空間，而對比市場上的同類查詢產品，根據數據倉庫典型查詢場景測試中查詢的完成度與查詢的性能比較來看，都具有顯著優(yōu)勢。”

（kyligece enterprise 核心優(yōu)勢）

這樣一來，平臺在數據量、性能、并發(fā)等方面進行了巨大突破，為企業(yè)級用戶提供快速搭建基于大數據的數據倉庫及商務智能分析平臺的能力，提升大數據效率。

而且，平臺支持多種部署模式，以適應不同的用戶場景，用戶可以根據具體需求選擇本地部署、云端部署或是混合部署模式來適應企業(yè) it 架構，進一步使得其分析師能夠快速的訪問和分析海量數據，響應業(yè)務變化。

-3 -

延伸云端解決方案

助力企業(yè)平滑上云

目前，企業(yè)上云，意味著大量的交易記錄、日志、文件等數據將直接在云端產生并存儲。如何融合云計算與大數據分析，充分發(fā)揮云計算和大數據雙重引擎帶來的優(yōu)勢，迅速發(fā)現海量數據中的業(yè)務價值并驅動商業(yè)決策，成為企業(yè)在新時代下決勝的關鍵。

同時，大數據在各行各業(yè)中取得了迅猛發(fā)展，涌現出了如hadoop、spark、kylin等大量創(chuàng)新性技術。這些技術被大量企業(yè)廣泛應用于存儲和處理海量數據，分析和挖掘其中的價值，促進業(yè)務的發(fā)展。而這些創(chuàng)新技術無一例外地基于分布式計算架構，具備超高的可擴展性，將數據處理能力擴展至幾百tb甚至pb級。

不僅如此，云計算所具備的無限擴展和按需的特性，為大數據應用提供源源不斷的計算和存儲資源，從而使大數據成為一個完美的云計算應用。

因此，大數據分析上云成為了企業(yè)it云戰(zhàn)略實施的重中之重，但云端環(huán)境的復雜性，如虛擬化、計算與存儲分離等特性，也讓企業(yè)大數據分析上云面臨著諸多挑戰(zhàn)。

kyligence從成立之初即在云端進行相應布局，2017年底推出了kyligencecloud產品。kyligence cloud是kyligence公司基于云端的大數據服務，為客戶將大數據分析平滑上云提供解決方案，目前已支持全球超過6個云平臺。

kyligence cloud主要聚焦在關注業(yè)務急速擴張的中大型企業(yè)。這類企業(yè)的特點在于絕大多數資源都投注在了業(yè)務上，對于大數據分析平臺的建設力度往往不足。

（kyligence cloud 架構）

據悉，kyligence cloud以kyligence enterprise為核心，充分發(fā)揮其高性能、高并發(fā)優(yōu)勢，同時利用云計算帶來的低成本、高擴展、易運維等特點，大大提高企業(yè)大數據分析上云的效率，并有效降低成本。

使用kyligence cloud，客戶可以在云端快速構建可無限擴展的大數據集群，實現對pb級數據的交互式olap分析和關鍵業(yè)務查詢的亞秒級響應，助力業(yè)務分析師和數據科學家快速發(fā)現數據內在價值，驅動商業(yè)決策。

同時，kyligence與微軟azure、亞馬遜aws、google cloud、阿里云、華為云等云廠商深度合作，這樣用戶可以在公有云上快速建立大數據分析集群，接入各種云端數據源并進行建模分析，實現對pb級數據的交互式分析與關鍵業(yè)務查詢的亞秒級響應。

kyligence cloud通過與云基礎設施的無縫整合，為用戶提供了端到端的解決方案。其核心的亞秒級查詢分析能力，大大加速了從數據到價值的發(fā)現進程，可更快地支持客戶將本地應用向云端進行遷移，在現有的數據層之上提供sql加速層，提供高性能及高并發(fā)的云端數據分析服務能力。

kyligence cloud通過與各大云廠商的基礎服務進行深度整合，幫助客戶在數據湖上快速構建 pb 級數據多維分析（olap）的能力，為數據分析師和業(yè)務用戶提供交互式的大數據分析與查詢服務，助力企業(yè)實現海量數據集上的亞秒級查詢響應。

-4 -

聚焦行業(yè)頭部客戶

提供標準化產品

目前，kyligence已經為金融，電信，零售，智能制造，能源等行業(yè)的企業(yè)提供下一代企業(yè)級智能數據倉庫及融合大數據分析平臺解決方案。招商銀行、上汽集團、太平洋保險、中國銀聯、oppo、華為、中國移動等大型企業(yè)，都在使用其產品。

韓卿表示，kyligence在選擇行業(yè)的時候，會思考這幾方面問題。第一，這個行業(yè)是否足夠成熟，是否依賴于用數據驅動器業(yè)務發(fā)展。

“銀行就是符合這個標準，比如你申請一個信用卡或者一批貸款，如果沒有數據支撐，銀行是無法分析出貸款風險的?！?/p>

以某大型銀行為例，在大數據平臺建設之前，該銀行的數據大多存放在greenplum、db2等傳統關系型數據庫中，業(yè)務人員需要分析數據或提出新的報表需求時，通常都是由 it 人員拿到需求之后現場開發(fā)，再將整理好的數據發(fā)送給業(yè)務部門。

由于數據存儲分散、再加上數據量越來越大，以及業(yè)務數據需求的臨時性和不確定性，這種方式的工作效率越來越低，業(yè)務獲取數據的周期越來越長，it人員的工作量也越來越重。

在建設大數據平臺后，該銀行把其業(yè)務系統中產生的各種數據，通過集中處理之后統一存入到 hadoop平臺，通過kyligence enterprise依據不同的業(yè)務創(chuàng)建不同主題的數據集市和立方體，將業(yè)模型發(fā)開放給業(yè)務分析人員。

然后，kyligence enterprise通過數據集市，將生硬的、技術化的表和字段等轉換為業(yè)務人員能夠理解的業(yè)務指標和分析維度，使得業(yè)務分析人員能夠輕松通過各種前端bi工具如tableau等對相關數據集市進行自助分析。

最后，依賴于kyligence enterprise在超大規(guī)模數據集上的高速sql查詢能力，業(yè)務人員可以快速生成分析結果，進一步優(yōu)化分析思路和業(yè)務決策。

該銀行客戶通過kyligence enterprise平臺，生成的數據集市模型提供自主分析能力，精簡了數據獲取的流程，降低了數據分析的技術門檻，一套模型可以實現主題內的多個維度分析，極大方便了業(yè)務用戶的自助服務，數據分析高度自由化，同時大大減輕it的負擔。

第二，客戶意識。是否需要數字化轉型，這是企業(yè)的意識問題，如果企業(yè)到了一定的規(guī)模，希望通過數據來驅動業(yè)務轉型升級，這類型客戶的契合度、體量都是很好的。

“以某全球連鎖快餐的市場部門為例，他們在數字營銷的過程中，確實遇到了一些問題，比如數據口徑不一致、分析周期太長、不能進行探索式地進行數據分析等，在激烈的競爭中大大制約了市場部門的業(yè)務決策能力。

我們幫助他們在現有的數據平臺上，搭建了統一的大數據分析平臺，賦能市場部門的運營人員進行自助分析，極大地降低了分析的門檻。該系統為市場決策提供了更好更快的分析能力，受到了客戶高層的一致好評和贊賞，最后他們還為我們寫了一封感謝信?！?/p>

很多中大型企業(yè)需求充滿個性化、復雜化，服務商為了滿足他們的需求，經常會提供定制化的產品，久而久之變成了項目制，對服務自己來說，提高了成本，降低了效率，那么kyligence如何解決這樣的問題？

韓卿解釋道，kyligence簽了很多中大型企業(yè)客戶，都是行業(yè)的頭部客戶，但都沒有為他們提供定制化的產品，目前為止，kyligence只提供一個標準化的產品，這在中國的軟件公司中非常罕見。韓卿認為，數據倉庫是一個標準化的領域，只有提供標準化的產品，企業(yè)才能更聚焦于將產品和技術做好、做深、做扎實，在國際化的競爭中立于不敗之地。

同時，通過api接口及與上下游廠商的合作，打造完善的生態(tài)系統，來一起滿足客戶的各種需求。這也為kyligence打開國際市場奠定了基礎，目前kyligence已經收獲了來自美國的付費客戶，這也充分證明了標準化產品戰(zhàn)略的價值。

*本文作者竇悅怡，數字觀察原創(chuàng)。歡迎添加數字觀察官微小妹（id：heimahui2），加入b2b行業(yè)vip社群（請備注姓名-公司-職位,無備注者不予通過）。

責任編輯：

聲明：該文觀點僅代表作者本人，搜狐號系信息發(fā)布平臺，搜狐僅提供信息存儲空間服務。

閱讀 ()