色婷婷AⅤ一区二区三区|亚洲精品第一国产综合亚AV|久久精品官方网视频|日本28视频香蕉

          "); //-->

          博客專欄

          EEPW首頁 > 博客 > AI-Native數(shù)據(jù)庫正在打造新一代金融基礎(chǔ)設(shè)施

          AI-Native數(shù)據(jù)庫正在打造新一代金融基礎(chǔ)設(shè)施

          發(fā)布人:AI科技大本營 時間:2022-10-19 來源:工程師 發(fā)布文章
          當(dāng)IT(Information Technology)向DT(Data Technology)演進時,所有商業(yè)實踐都會被重塑。金融企業(yè)數(shù)字化轉(zhuǎn)型需要夯實基礎(chǔ)設(shè)施,讓企業(yè)的IT、DT等系統(tǒng)得以升級和改變,進而融入企業(yè)的業(yè)務(wù)創(chuàng)新、運營管理與金融服務(wù)等環(huán)節(jié),讓企業(yè)經(jīng)營可以變得更加敏捷、輕松。

          阿拉丁(Aladdin)系統(tǒng)的繁榮,印證著科技改變了華爾街的證券規(guī)則。

          圖片

          王樑,數(shù)據(jù)庫領(lǐng)域資深專家。從事IT行業(yè)18年,曾擔(dān)任北京電信數(shù)據(jù)中心運維經(jīng)理,中科軟科技股份有限公司項目經(jīng)理;參與國家減災(zāi)中心數(shù)據(jù)中心、某省公安廳數(shù)據(jù)中心等項目的規(guī)劃及建設(shè)工作。該系統(tǒng)將復(fù)雜的風(fēng)險分析與綜合投資組合交易整合在一個平臺上,可以達成每天監(jiān)測2000+風(fēng)險因素,每周進行5000次投資組合壓力測試和1.8億次期權(quán)調(diào)整計算,為逾100個國家/地區(qū)的機構(gòu)提供服務(wù),全球依賴這一平臺運作的資金規(guī)模超過15萬億美元。同樣,在全球智能投顧領(lǐng)域,Wealthfront是一個令無數(shù)金融機構(gòu)難以望其項背的名字。其客戶就職最多的企業(yè)依次是Google、Facebook、LinkedIn、Microsoft、Twitter等。與“人機混合”模式的智能投顧不同,Wealthfront身體力行地將金融民主化的理想變成現(xiàn)實,始終站在客戶的角度,最大化客戶利益。

          讓每個人都能實時看到同樣高質(zhì)量的數(shù)據(jù),源于金融信息化從面向流程驅(qū)動轉(zhuǎn)向面向數(shù)據(jù)化驅(qū)動,才能實時進行前端的個性化處置。本質(zhì)是金融業(yè)務(wù)底層的基礎(chǔ)設(shè)施發(fā)生了變遷。

          圖片

          DT對IT的斷崖式洗牌
          金融業(yè)務(wù)底層基礎(chǔ)設(shè)施發(fā)生的變遷,源于DT對IT的斷崖式洗牌。首先,算法上摩爾定律失效,不再依靠單個算法性能優(yōu)化提升,而是通過大規(guī)模分布式,以及大規(guī)模協(xié)同算力來提示算法的效率和性能;其次,互聯(lián)網(wǎng)帶來數(shù)據(jù)實時消費需求,行為生產(chǎn)的數(shù)據(jù)被即席處理消費,個人點擊流的行為被用作個性化商品推薦,爆發(fā)第三波行為數(shù)據(jù)紅利;最后,算法重構(gòu)世界,在今天的數(shù)字經(jīng)濟中,很多基于經(jīng)驗規(guī)則流程的商業(yè)實踐,甚至一些物理的公理定理,都開始讓位于數(shù)據(jù)和算法所訓(xùn)練生成的新的知識。這是兩個賽道的技術(shù),原來的流程驅(qū)動的業(yè)務(wù)Java代碼可復(fù)用,形成IT時代的信息化系統(tǒng),而數(shù)據(jù)驅(qū)動的業(yè)務(wù)是輸入、輸出一體化,將數(shù)據(jù)、程序和商業(yè)結(jié)果一起輸入,通過智能化系統(tǒng)來生產(chǎn)出程序,形成DT時代的智能化服務(wù)應(yīng)用。面向資源服務(wù)的虛擬化被面向服務(wù)的容器化替代,面向數(shù)據(jù)可視化、面向分析的BI操作被面向執(zhí)行的AI所替代。以****為例,如今****開始互聯(lián)網(wǎng)的消費化,越來越強調(diào)體驗的實時性,交易和分析場景必須一致。傳統(tǒng)的解決方案,一般都是采用數(shù)據(jù)倉庫T+1匯聚交易數(shù)據(jù),進行復(fù)雜分析,形成分析結(jié)果。分析結(jié)果如果需要支持高并發(fā)服務(wù)應(yīng)用,就要導(dǎo)入一個關(guān)系型數(shù)據(jù)庫,支持高并發(fā)應(yīng)用服務(wù)。在這個傳統(tǒng)解決方案中,數(shù)據(jù)需要從業(yè)務(wù)系統(tǒng)遷移到數(shù)據(jù)倉庫中,分析結(jié)果還需要從數(shù)據(jù)倉庫再遷移到關(guān)系型數(shù)據(jù)庫中,支持高并發(fā)數(shù)據(jù)服務(wù),因此數(shù)據(jù)需要在這三個數(shù)據(jù)庫之間進行傳輸,這種數(shù)據(jù)傳輸產(chǎn)生數(shù)據(jù)量大、延遲高、數(shù)據(jù)冗余等問題。要是在分析任務(wù)有所變更的情況下,代價會更大。當(dāng)今業(yè)務(wù)日趨爭分奪秒,都期待可以突破T+1日的桎梏,走向更加實時的響應(yīng)。互聯(lián)網(wǎng)興起后,應(yīng)用程序需要每秒支持數(shù)十萬甚至數(shù)百萬個事務(wù),每個事務(wù)的處理延遲以毫秒為單位。互聯(lián)網(wǎng)帶來的行為數(shù)據(jù)要遠遠大于交易數(shù)據(jù),而且需要高并發(fā)、高擴展、更松耦合的高服務(wù)架構(gòu)能力來完成。舉個例子:****營業(yè)廳的個性化理財服務(wù)推銷,就需要大量數(shù)據(jù)倉庫中的加工分析結(jié)果數(shù)據(jù),直接推送到一線營業(yè)廳的服務(wù)人員的終端上,進行實時營銷處理。我們再把場景聚集到一個營業(yè)廳,假設(shè)某天營業(yè)廳應(yīng)用有六萬多人,同時在線需要至少五百個并發(fā)/秒,理財經(jīng)理要在某一時刻看到大客戶的結(jié)息、凈值等一系列的數(shù)據(jù)服務(wù),且都是個性化的,這種個性化服務(wù)業(yè)務(wù)需求是傳統(tǒng)數(shù)據(jù)倉庫架構(gòu)無法支撐的。首先,能夠統(tǒng)一支撐事物處理和工具負載分析的數(shù)據(jù)庫成為必須需求。我們很少看到Google宕機,因為它不是靠單集群可用性來保證,而是靠整個集群的服務(wù)來保證性能。在行為數(shù)據(jù)中誕生了新的架構(gòu),就必須生成一個新的分布式架構(gòu)。近年來,混布數(shù)據(jù)庫在****承載了很大使命:一方面,滿足海量數(shù)據(jù)強交易場景;另一方面,權(quán)益類服務(wù)也和其他服務(wù)一樣,需要計時實時處理。****通過引入HTAP數(shù)據(jù)庫產(chǎn)品,實現(xiàn)業(yè)務(wù)交易和數(shù)據(jù)分析緊密結(jié)合,TP側(cè)支持大量交易流水存儲,提供交易相關(guān)的基礎(chǔ)數(shù)據(jù);AP側(cè)滿足大數(shù)據(jù)量、復(fù)雜的SQL查詢,并支持秒級響應(yīng),HTAP優(yōu)化的融合架構(gòu)提供更高的處理時效并減少數(shù)據(jù)副本存儲量。其次,數(shù)據(jù)使用者發(fā)生變化,實時高并發(fā)處理成為常態(tài)。數(shù)據(jù)生產(chǎn)方式的變化導(dǎo)致數(shù)據(jù)使用者也發(fā)生變化。傳統(tǒng)的數(shù)據(jù)消費者是決策者,領(lǐng)導(dǎo)根據(jù)數(shù)據(jù)分析結(jié)果進行宏觀決策服務(wù)。在個性化服務(wù)的時代,數(shù)據(jù)的消費者不再是少數(shù)領(lǐng)導(dǎo)者,還有一線服務(wù)人員,一線人員根據(jù)數(shù)據(jù)分析結(jié)果實現(xiàn)個性化服務(wù),這讓高并發(fā)和實時處理成為常態(tài)。如圖1所示,在某行****中心項目中,將****核心系統(tǒng)、信審無紙化系統(tǒng)、客戶決策管理系統(tǒng)的數(shù)據(jù)通過數(shù)據(jù)同步工具與在線交易系統(tǒng)聯(lián)通后,存入HTAP數(shù)據(jù)庫,來同時支撐簡單查詢與統(tǒng)計分析。)

          圖片

          圖1 某行****中心全量數(shù)據(jù)在線應(yīng)用最后,使用“流批一體”的方式支撐數(shù)據(jù)分析(離線數(shù)據(jù)、實時數(shù)據(jù))、機器學(xué)習(xí)、圖計算等多條數(shù)據(jù)流程。在傳統(tǒng)解決方案中,批計算平臺和流計算平臺是兩套不同的架構(gòu)體系,批計算平臺一般是大數(shù)據(jù)平臺或者是數(shù)據(jù)倉庫進離線加工處理;流計算平臺一般會采用Flink的框架計算實時處理;由于是兩條系統(tǒng)、兩套算子、兩套UDF、兩套計算邏輯,一定會產(chǎn)生不同程度的誤差,這些誤差給業(yè)務(wù)方帶來了非常大的困擾。這些誤差不是簡單依靠人力或者資源的投入就可以解決的。因此,要構(gòu)建“流批一體”服務(wù)平臺,支撐實時分析、實時營銷等算法模型的應(yīng)用,通過混布的HTAP數(shù)據(jù)庫將面向管理的“分析”與面向應(yīng)用的實時“處理”,以及面向AI的模型訓(xùn)練與圖算法等通過數(shù)據(jù)庫實現(xiàn)融合,可以解決困擾用戶的架構(gòu)難題。試想一下場景:授信企業(yè)將所獲貸款挪為他用,投資高風(fēng)險渠道且投資失敗,所貸款項全部虧損,不僅影響了企業(yè)的再生產(chǎn)和經(jīng)營過程,而且影響到整個產(chǎn)業(yè)供應(yīng)鏈的正常運作。不是傳統(tǒng)分析不能解決,而是在實際業(yè)務(wù)辦理過程中,供應(yīng)鏈金融關(guān)系錯綜復(fù)雜,不是簡單分析能呈現(xiàn)的。伴隨著社會生活和經(jīng)濟發(fā)展模式的全面轉(zhuǎn)型,為從數(shù)據(jù)中獲取更多價值,已經(jīng)開始需要使用圖數(shù)據(jù)庫獲取深層次的統(tǒng)計信息。比起傳統(tǒng)的信息存儲和組織模式,圖數(shù)據(jù)庫能夠很清晰地揭示復(fù)雜的模式,尤其在錯綜復(fù)雜的金融風(fēng)控業(yè)務(wù)上效果更為明顯,可謂是一圖勝過千言萬語。能支持流批一體的數(shù)據(jù)庫,更善于處理大量的、復(fù)雜的、互聯(lián)的、多變的網(wǎng)狀數(shù)據(jù),其效率遠高于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的百倍、千倍甚至萬倍。如圖2所示,在實際智能權(quán)益服務(wù)平臺項目中,將用戶的行為數(shù)據(jù)、實時的交易數(shù)據(jù)以及地理數(shù)據(jù)、賬戶數(shù)據(jù)和外部數(shù)據(jù)一起通過“流批一體”匯入HTAP分布式數(shù)據(jù)庫,來支撐智能權(quán)益推薦與營銷活動策劃等實時應(yīng)用。

          圖片

          圖2 智能權(quán)益服務(wù)平臺“流批一體”實時應(yīng)用


          圖片

          AI-Native數(shù)據(jù)庫正在打造新一代金融基礎(chǔ)設(shè)施

          如圖3所示,“BigIdeas 2021”提出“Deep Learning”概念,即軟件2.0時代。在軟件2.0時代,數(shù)據(jù)結(jié)構(gòu)開始基礎(chǔ)設(shè)施化,同時高精尖的算法學(xué)習(xí)流水線化。

          圖片

          圖3 Deep Learning Is Software 2.0

          軟件工程逐步由程序員個體腦力勞動生產(chǎn),轉(zhuǎn)向數(shù)據(jù)驅(qū)動的算法應(yīng)用自動生產(chǎn),軟件將進入AI規(guī)?;a(chǎn)階段。首先,人工智能做了一次表達能力的升級。我們所熟知的“Google 語音識別”還有“波士頓機器人運動姿態(tài)”都說明一個問題:算法具有極強的跨行業(yè)屬性,人工智能可以借數(shù)學(xué)語言通達感官遠遠不及的世界而仍保真。巴塞爾協(xié)議對我們的啟示是:預(yù)期損失是可以量化的,即預(yù)期損失率(EL)=違約概率(PD)*違約損失率(LGD)。這需要借助科技工具,精準的對信用進行量化,找到需求風(fēng)險和利潤間的平衡點。AI的強項在于可以以極低成本發(fā)現(xiàn)信用風(fēng)險。通過自動化特征工程與自動化機器學(xué)習(xí)建模,依靠海量數(shù)據(jù)和強大的分析能力,簡化模型生產(chǎn)流程,提升算法性能,建立起更全面、更客觀的信用體系,是金融機構(gòu)與信用風(fēng)險測評之間的紐帶。我們曾在證監(jiān)會共建的金融實驗室對56000+資管產(chǎn)品做模型預(yù)測,模型預(yù)測準確率高達80%,在第一次實踐應(yīng)用中找準4支兌付風(fēng)險,在第二次實踐應(yīng)用中找準7支。要知道,金融機構(gòu)發(fā)生的風(fēng)險所帶來的后果,往往超過對其自身的影響。因此預(yù)測風(fēng)險值的價值遠高于找準風(fēng)險,這也是人工智能產(chǎn)品的價值。通過人工智能可以預(yù)測出風(fēng)險值的高低,當(dāng)風(fēng)險高達某一數(shù)值,金融機構(gòu)就要采取相應(yīng)措施了,預(yù)防風(fēng)險成為真正的事故。某券商資管圖譜的風(fēng)險傳播利用復(fù)雜網(wǎng)絡(luò)作為載體,對資管業(yè)務(wù)中涉及的自然人、企業(yè)和資管產(chǎn)品之間的復(fù)雜關(guān)系進行建模,理順資金流動方向和風(fēng)險傳遞方向,從而達到為經(jīng)營機構(gòu)預(yù)警,進行資產(chǎn)風(fēng)險防范的目的。資管圖譜方案支持全面的觀察和****資管產(chǎn)品之間的關(guān)聯(lián)關(guān)系,并對風(fēng)險傳染過程進行建模與量化。降低資管產(chǎn)品之間的風(fēng)險耦合度,預(yù)防風(fēng)險擴大。在實踐應(yīng)用中,查詢層數(shù)大于二層時,相比較于傳統(tǒng)關(guān)系型數(shù)據(jù)庫查詢速度有數(shù)百倍到幾千倍的提升,千億規(guī)模的資產(chǎn)風(fēng)險可以秒級發(fā)現(xiàn)。其次,人工智能中復(fù)雜網(wǎng)絡(luò)可做數(shù)據(jù)結(jié)構(gòu)升維的隱含知識表達。互聯(lián)網(wǎng)時代的到來深刻地改變了人與人之間的連接方式,同時也為在更大規(guī)模上驗證人類網(wǎng)絡(luò)究竟有多小提供了可能。也就是說更大的網(wǎng)絡(luò)、更小的世界。而傳統(tǒng)關(guān)系型數(shù)據(jù)庫的每次關(guān)聯(lián)都需要一次log計算,是矩陣模型的計算量的N倍,其性能嚴重下降。復(fù)雜網(wǎng)絡(luò)則不同,它可以很好地呈現(xiàn)節(jié)點和關(guān)系網(wǎng)絡(luò)圖譜,在面對數(shù)據(jù)多樣、復(fù)雜、孤島化,以及單一數(shù)據(jù)價值不高的應(yīng)用場景時,存在關(guān)系深度搜索、規(guī)范業(yè)務(wù)流程、規(guī)則和經(jīng)驗性預(yù)測等需求,使用知識圖譜解決方案將帶來最佳的應(yīng)用價值。如圖4所示,在查找與節(jié)點A相關(guān)的節(jié)點B的屬性信息時,使用復(fù)雜網(wǎng)絡(luò)只需進行一次log計算即可獲取結(jié)果,而如果要通過傳統(tǒng)數(shù)據(jù)庫的關(guān)系型模型實現(xiàn),則需要通過至少N-1次jion才能得到結(jié)果(N=A節(jié)點的一度關(guān)聯(lián)個數(shù)),可以發(fā)現(xiàn),如果進行大量此類結(jié)算,使用復(fù)雜網(wǎng)絡(luò)的矩陣模型在同等配置情況下將會節(jié)省大量查詢時間。

          圖片

          圖4 jion查詢對比示意

          在證券行業(yè),原來傘型配資在同一個實體賬戶上同時有多個配資者進行交易,非常容易抽象的刻畫行為。但到了一個實體賬戶上,同時只有一個配資者進行交易,大量實體賬戶被使用,隱蔽性越來越強,如何快速捕捉交易風(fēng)格的快速切換?深度學(xué)習(xí)通過組合底層特征形成更加抽象的高層表示屬性類別或特征,以發(fā)現(xiàn)數(shù)據(jù)的分布特征表示。與人工規(guī)則構(gòu)成的方法相比,利用大數(shù)據(jù)來學(xué)習(xí)特征,更能豐富客戶數(shù)據(jù)的內(nèi)在信息。比如券商的智查系統(tǒng),可以應(yīng)用深度學(xué)習(xí)孿生神經(jīng)網(wǎng)絡(luò)模型,建模識別、監(jiān)測賬戶的使用一致性,找出潛在配資行為;采用聯(lián)邦學(xué)習(xí)技術(shù),實現(xiàn)“數(shù)據(jù)不出門,可用不可見”,在保障數(shù)據(jù)安全情況下,最大化利用行業(yè)跨機構(gòu)數(shù)據(jù)價值,充分發(fā)揮行業(yè)云的行業(yè)價值。梅特卡夫定律告訴我們,一個網(wǎng)絡(luò)的價值與聯(lián)網(wǎng)的用戶數(shù)的平方成正比。原來一個東西存在供需雙方,但在****數(shù)字經(jīng)濟下,消費的數(shù)據(jù)也反哺給了我們,產(chǎn)銷合一,數(shù)據(jù)的消費者即生產(chǎn)者。與此同時,支撐金融智能時代的基礎(chǔ)設(shè)施技術(shù)需要升級跨越。相信隨著人工智能認知計算的普及落地,更多機器數(shù)據(jù)生產(chǎn)消費,AI-Native數(shù)據(jù)庫將會主導(dǎo)和統(tǒng)一市場,成為新一代金融基礎(chǔ)設(shè)施。


          圖片

          結(jié)語數(shù)據(jù)庫是基礎(chǔ)軟件皇冠上的明珠,是每一家公司業(yè)務(wù)系統(tǒng)的核心。在這個賽道上,甲骨文是一座繞不開的大山,只要市場上不出現(xiàn)替代者它可以一直坐享其成。國產(chǎn)數(shù)據(jù)庫起步晚,在信息、人才、技術(shù)等多重窘境之下,很多企業(yè)采用“拿來主義”的手段彌補國產(chǎn)技術(shù)的空白。要么基于開源系統(tǒng)改進,要么從廠商購買源碼授權(quán)。這有點像汽車產(chǎn)業(yè),引進的人很多,但是自主升級開發(fā)卻很難。但中國大數(shù)據(jù)云計算的發(fā)展,傳統(tǒng)數(shù)據(jù)庫技術(shù)已經(jīng)很難支撐,新一代AI原生國產(chǎn)數(shù)據(jù)庫才是新底座。達爾文說:“自然界的競爭,并無必然法則可尋,關(guān)鍵在于個體偶發(fā),是個體自發(fā)變異主導(dǎo)著進化的必然?!闭l能提供支持混合負載的混布數(shù)據(jù)庫技術(shù),提供流批一體技術(shù)服務(wù),誰就能對抗西方在開源系統(tǒng)封裝服務(wù)領(lǐng)域的現(xiàn)有市場,就能定義新一代金融基礎(chǔ)設(shè)施。


          *博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點,如有侵權(quán)請聯(lián)系工作人員刪除。

          物聯(lián)網(wǎng)相關(guān)文章:物聯(lián)網(wǎng)是什么


          電路相關(guān)文章:電路分析基礎(chǔ)


          pic相關(guān)文章:pic是什么




          關(guān)鍵詞: AI

          相關(guān)推薦

          技術(shù)專區(qū)

          關(guān)閉