91精品国产自产在线观看永久_香蕉久久一区二区不卡无毒影院_91视频国产精品_日韩成人高清在线_久久久久久久久久久久久女国产乱 _亚洲欧美日韩国产一区二区三区_99久久精品免费看_亚洲影视九九影院在线观看_久久精品国产亚洲_成人a级免费视频

首頁 > 技術(shù) > 正文

當前速讀：TiDB x 同盾科技，實時數(shù)據(jù)架構(gòu)為風控智能決策保駕護航

2023-02-08 15:51:43來源：中關(guān)村在線  

同盾科技是中國領(lǐng)先的人工智能科技企業(yè)，專注決策智能領(lǐng)域，致力于幫助政企客戶防范風險、提升決策效率。同盾科技堅持自主科技創(chuàng)新，多項算法和軟件系統(tǒng)已達全球領(lǐng)先水平，并形成了“基于隱私計算的共享智能平臺-智邦”和“基于人工智能的決策智能平臺-智策”兩大平臺，聚焦于金融風險、安全風險、政府治理風險三大場景，業(yè)務覆蓋全球數(shù)十個國家，為 22 大行業(yè)、118 個細分場景的上萬家客戶提供了領(lǐng)先且獨具特色的決策智能解決方案。

風控業(yè)務場景對數(shù)據(jù)庫的需求與挑戰(zhàn)

作為一家第三方風控公司，客戶經(jīng)常需要調(diào)用同盾的智能決策服務去做業(yè)務決策，如電商大促期間防范黑產(chǎn)薅羊毛，個人信貸杜絕多頭借貸老賴行為等。因此，同盾服務調(diào)用常常呈現(xiàn)出非常大的 TPS 請求。同時，為了不影響客戶調(diào)用服務的質(zhì)量與體驗，同盾對低延遲和高可用有著硬性要求。


(資料圖片)

基于這樣的特征，同盾日均過億的決策服務調(diào)用，會產(chǎn)生包括非結(jié)構(gòu)化/結(jié)構(gòu)化多種數(shù)據(jù)結(jié)構(gòu)類型在內(nèi)的海量數(shù)據(jù)入庫。豐富的數(shù)據(jù)類型與多樣的細分場景，使得同盾科技必須使用多種數(shù)據(jù)庫去滿足不同的業(yè)務場景需求，在同盾的數(shù)據(jù)架構(gòu)中包含了 Cassandra、MySQL、HBase、Redis、Mongo 等數(shù)據(jù)庫。

在同盾的數(shù)據(jù)架構(gòu)中，大多數(shù)初始落庫的數(shù)據(jù)還比較原始，為了提供優(yōu)質(zhì)的數(shù)據(jù)服務用于智能決策，技術(shù)團隊構(gòu)建了成熟的大數(shù)據(jù)平臺，用 T+1 離線數(shù)據(jù)分析的方式去進行日常的離線數(shù)據(jù)分析作業(yè)，利用數(shù)據(jù)二次加工賦能上層的風控智能決策。

但面對復雜的數(shù)據(jù)基礎(chǔ)架構(gòu)，同盾在業(yè)務增長中也遭遇了如下挑戰(zhàn)：

·同盾擁有在線數(shù)千個大大小小的 MySQL 工作實例，數(shù)據(jù)十分分散，有一些是核心的風控業(yè)務系統(tǒng)數(shù)據(jù)，有一些是后臺基礎(chǔ)架構(gòu)平臺的數(shù)據(jù)，還有一些是集團 IT 系統(tǒng)數(shù)據(jù)，同盾希望通過集中化的方式對這些數(shù)據(jù)進行分析管理；

·最開始同盾將上游 MySQL 數(shù)據(jù)同步到下游進行分析，但整個過程中數(shù)據(jù)交換工作效率非常低，整體作業(yè)分析的 SLA 無法得到保證；

·由于上下游數(shù)據(jù)同步的阻塞問題，導致了離線數(shù)據(jù)同步實時性很差，上下游數(shù)據(jù)經(jīng)常出現(xiàn)數(shù)據(jù)不一致的情況，非常影響提供給作業(yè)的數(shù)據(jù)質(zhì)量。

其實同盾科技的業(yè)務場景并不復雜，只需要同步生產(chǎn)環(huán)境中數(shù)千個 MySQL 實例至下游的離線系統(tǒng)，提供給作業(yè)開發(fā)人員通過大數(shù)據(jù)平臺進行離線分析加工。項目的核心目標是在海量數(shù)據(jù)落庫下，保障在線到離線數(shù)據(jù)的數(shù)據(jù)庫的準實時性和一致性，并提供優(yōu)質(zhì)的數(shù)據(jù)服務給內(nèi)部的風控系統(tǒng)開發(fā)人員、算法模型工程師和運營人員加工數(shù)據(jù)。

為什么選擇 TiDB？

經(jīng)過長時間調(diào)研，同盾科技的技術(shù)團隊最后選擇了新一代分布式數(shù)據(jù)庫 TiDB 作為離線層的核心數(shù)據(jù)庫。同盾科技數(shù)據(jù)庫運維梁高升表示，主要有以下幾點原因最終促成同盾選擇 TiDB：

首先，TiDB 高度兼容MySQL協(xié)議，在 TiDB 的使用和運維過程中大大減輕了運維和開發(fā)人員的使用成本；

第二，TiDB 作為分布式數(shù)據(jù)庫，同盾可以把它看成一個大的數(shù)據(jù)庫實例，可以匯聚上游所有的MySQL實例數(shù)據(jù)；

第三，TiDB 具備存算分離的架構(gòu)，可以讓同盾非常靈活地控制硬件成本，而不用一味堆砌服務器；

最后，TiDB 擁有非常活躍的社區(qū)。即使在使用 TiDB 的過程中遇到一些問題也馬上能在社區(qū)得到解決。

解決方案

最終，同盾科技數(shù)據(jù)庫團隊構(gòu)建了一整套基于 TiDB 的數(shù)據(jù)流轉(zhuǎn)架構(gòu)，該架構(gòu)共分為三層：

實時數(shù)據(jù)層

同盾內(nèi)部有 3000+ MySQL實例，在實時數(shù)據(jù)庫層通過 MySQL cloud 管控上游數(shù)千個 MySQL。

傳輸層

在傳輸層，從 MySQL Cloud 對接實時數(shù)據(jù)同步任務到內(nèi)部 Otter ，Otter 可以實現(xiàn)準實時同步 MySQL 數(shù)據(jù)，然后再由 OTTER 實時同步數(shù)據(jù)到 TiDB。

上下游同步組件決定了數(shù)據(jù)在下游離線場景的整體數(shù)據(jù)質(zhì)量，同盾對數(shù)千個 MySQL 實例同步數(shù)據(jù)的同時，需要保證其穩(wěn)定性、低延遲及整體可控的管理成本。雖然 PingCAP 數(shù)據(jù)遷移工具 DM 支持全量/增量靈活的數(shù)據(jù)導入場景，并具有較快的導入速率，但目前單個 DM worker 只支持綁定一個數(shù)據(jù)源，這限制了管理大量 MySQL 同步任務的需求。同盾最后選擇使用 OTTER 作為常態(tài)化的數(shù)據(jù)增量同步平臺，但 OTTER 只支持增量數(shù)據(jù)同步，且單任務吞吐有上限，同盾通過使用其支持 spark streaming 來進一步保障同步得吞吐和準實時性。未來在 TiDB 推出一個 DM worker 支持多個數(shù)據(jù)源的特性后，同盾會再考慮進行替換。

離線數(shù)據(jù)層

離線數(shù)據(jù)層中的大數(shù)據(jù)平臺主要管控 TiDB 的元數(shù)據(jù)和實際到下游的同步情況。 在 Spark 運行作業(yè)的過程中通過 TiSpark 去訪問 TiDB，最后接入 Hadoop 進行分析作業(yè)。

業(yè)務收益

通過打造 TiDB 數(shù)據(jù)產(chǎn)品鏈，同盾科技實現(xiàn)了數(shù)千個 MySQL 數(shù)據(jù)的離線匯聚管理。TIDB 有著便捷易操作的 Dashboard 管理界面，運維無心智負擔，大大提升了數(shù)據(jù)庫運維團隊的管理運維和使用數(shù)據(jù)的便捷性與效率。同時，TiDB 的高性能保障提供高質(zhì)量的數(shù)據(jù)服務，實現(xiàn)了準實時同步數(shù)據(jù)。

同盾科技數(shù)據(jù)庫運維梁高升介紹，同盾剛開始上線的是 TiDB 2.0 早期版本，在上下游數(shù)據(jù)同步過程中遇到了一些 TiDB 和 MySQL 不那么兼容的情況，如果在上游有大量數(shù)據(jù)更新的情況下，會出現(xiàn)同步阻塞的情況，導致同步的實時性、一致性出現(xiàn)問題。但 TiDB 版本迭代速度非常快，每個版本都會對性能及穩(wěn)定性做出大量改進和優(yōu)化，在升級到 5.4 版本后，同盾就已經(jīng)解決了大部分的兼容問題。而且在基準測試中，TiDB 的性能也得到了質(zhì)的飛躍。

未來規(guī)劃

同盾科技是 TiDB 非常早期的用戶，多年的使用讓同盾確信 TiDB 是一款非常好的產(chǎn)品，未來也會繼續(xù)致力于在更多的場景依靠 TiDB 生態(tài)落地賦能一些業(yè)務場景。例如，雖然同盾的大部分作業(yè)是 T+1，但內(nèi)部也有很多實實在在的實時分析場景，比如實時展示的 BI 系統(tǒng)，通過TiFlash 實時分析查詢引擎可以進一步提升分析效率，更及時地滿足實時分析需求；同盾國內(nèi)在線業(yè)務針對海量關(guān)系型數(shù)據(jù)庫初始使用的是 MYCAT，但是 MYCAT 的運維非常困難，對開發(fā)也不是很友好，更像是上一代的分布式數(shù)據(jù)庫產(chǎn)品。后續(xù)，類似 MYCAT 這樣的場景也很有必要使用 TiDB 進行替換。

近幾年，隨著出海趨勢愈發(fā)火熱，同盾科技在出海業(yè)務勢頭也非常迅猛，業(yè)務涉及東南亞、北美、歐洲等多個區(qū)域，這就需要在谷歌云、AWS、阿里云等通用公有云上，有一款標準的分布式數(shù)據(jù)庫服務，幫助其在全球快速布局業(yè)務。而 TiDB Cloud 已經(jīng)在各大主流公有云上提供服務，這也給同盾科技構(gòu)建堅實的技術(shù)底座提供了更好的選擇。

標簽： 新聞資訊

相關(guān)閱讀

  • 萬能五筆輸入法官方下載2013（軟件特色介紹）
    萬能五筆輸入法官方下載2013（軟件特色介紹）

    萬能五筆輸入法官方下載2013（五筆輸入法下載手機版帶字根）萬能五筆是集國內(nèi)目前流行的五筆字型及拼音...

    2023-02-08
  • 當前熱點-中國古代發(fā)髻（上古時期的男性發(fā)型）
    當前熱點-中國古代發(fā)髻（上古時期的男性發(fā)型）

    中國古代發(fā)髻（中國古代發(fā)型演變）今年上演了一部非?；鸬木W(wǎng)絡(luò)劇，《長安十二時辰》，其中就高度還原了...

    2023-02-08
  • 世界簡訊:靈媒體質(zhì)（10種通靈體質(zhì)的人）
    世界簡訊:靈媒體質(zhì)（10種通靈體質(zhì)的人）

    靈媒體質(zhì)（10種通靈體質(zhì)的人）鄭容和張娜拉的《大發(fā)不動產(chǎn)》16集全部播完了。辛苦5個月平安收官。這一次...

    2023-02-08

    • 精彩推薦

    相關(guān)詞

    推薦閱讀

    91精品国产自产在线观看永久_香蕉久久一区二区不卡无毒影院_91视频国产精品_日韩成人高清在线_久久久久久久久久久久久女国产乱 _亚洲欧美日韩国产一区二区三区_99久久精品免费看_亚洲影视九九影院在线观看_久久精品国产亚洲_成人a级免费视频
    久久不见久久见免费视频1| 免费观看成人鲁鲁鲁鲁鲁视频| 26uuu国产日韩综合| 国产精品久久久久久亚洲毛片 | 91免费视频观看| 精品视频在线免费| 国产女人aaa级久久久级 | 欧美成人精品1314www| 亚洲日本一区二区三区| 久久爱另类一区二区小说| 91同城在线观看| 精品国产区一区| 亚洲成人一区在线| www.激情成人| 久久青草欧美一区二区三区| 性做久久久久久久免费看| 99久久精品国产网站| 日韩精品一区二| 午夜天堂影视香蕉久久| 久久aⅴ国产欧美74aaa| 欧美人体做爰大胆视频| 亚洲日本护士毛茸茸| 国产精品69久久久久水密桃| 日韩色在线观看| 亚洲精品成人在线| 99久久99久久精品免费看蜜桃| 亚洲精品一线二线三线| 丝袜美腿亚洲色图| 欧美日韩中文另类| 久久人人97超碰com| 蜜臀av性久久久久蜜臀aⅴ| 91蜜桃在线免费视频| 国产精品污www在线观看| 青草国产精品久久久久久| 91国偷自产一区二区开放时间| 国产精品素人一区二区| 高清成人免费视频| 国产区在线观看成人精品 | 国产一区亚洲一区| 久久精品一区二区三区不卡| 久久99日本精品| 色偷偷久久一区二区三区| 精品粉嫩超白一线天av| 精品中文字幕一区二区| 精品国产网站在线观看| 韩日精品视频一区| 日韩午夜av电影| 精品一区二区免费看| 久久一二三国产| 成人午夜精品在线| 亚洲天堂免费看| 日本久久电影网| 天堂午夜影视日韩欧美一区二区| 欧美浪妇xxxx高跟鞋交| 免费精品视频最新在线| 精品处破学生在线二十三| 美女网站在线免费欧美精品| 精品日韩av一区二区| 国产麻豆午夜三级精品| 国产欧美日韩另类一区| 91浏览器打开| 日韩黄色一级片| 精品国产乱码久久久久久久久| 国产成人在线色| 国产日韩欧美亚洲| 一本一道久久a久久精品 | 久久婷婷一区二区三区| 国产精品1区2区3区在线观看| 国产精品欧美久久久久一区二区| 色综合久久天天| 青青草91视频| 日韩午夜激情电影| 成人动漫av在线| 视频一区二区中文字幕| 精品国产一区二区三区av性色 | 极品尤物av久久免费看| 国产精品色呦呦| 欧美日韩精品久久久| 午夜欧美2019年伦理| 国产欧美精品区一区二区三区| 一本大道久久a久久综合| 蜜臀av性久久久久蜜臀aⅴ流畅 | 色综合中文字幕| 欧美人与性动xxxx| 国产精品亚洲а∨天堂免在线| 一卡二卡欧美日韩| 国产蜜臀97一区二区三区| 欧美日本免费一区二区三区| av在线不卡电影| 国产综合色精品一区二区三区| 亚洲国产一区二区在线播放| 中文字幕av一区 二区| 日韩免费福利电影在线观看| 欧美中文字幕亚洲一区二区va在线| 国产乱国产乱300精品| 免费观看久久久4p| 亚洲va韩国va欧美va| 亚洲天堂av一区| 久久奇米777| 精品免费国产二区三区| 欧美日韩不卡在线| 色综合久久久久久久久| 99天天综合性| 成人永久aaa| 国产电影精品久久禁18| 精品在线播放免费| 久久精品国产亚洲a| 午夜在线电影亚洲一区| 亚洲在线视频网站| 亚洲高清不卡在线观看| 一区二区三区欧美在线观看| 亚洲欧美另类久久久精品2019| 国产精品国产自产拍高清av王其| 久久久电影一区二区三区| 久久午夜老司机| 久久久噜噜噜久久中文字幕色伊伊| 欧美videos大乳护士334| 欧美大片拔萝卜| 精品久久久久久久久久久久久久久久久| 欧美日韩免费在线视频| 欧美理论电影在线| 91麻豆精品国产91久久久久| 欧美电影一区二区| 日韩美女一区二区三区| 久久久久综合网| 中日韩av电影| 亚洲视频1区2区| 亚洲一区欧美一区| 午夜电影久久久| 免费高清成人在线| 国产精品一区一区| 91社区在线播放| 欧美日韩亚洲综合一区二区三区 | 日韩不卡在线观看日韩不卡视频| 五月婷婷欧美视频| 毛片av一区二区三区| 国产伦精品一区二区三区视频青涩 | 欧美日韩精品一区二区在线播放| 欧美日韩三级一区| 欧美xxxxx牲另类人与| 久久久国产综合精品女国产盗摄| 国产精品日日摸夜夜摸av| 亚洲精品国产a久久久久久| 天堂在线亚洲视频| 精彩视频一区二区三区| 成a人片国产精品| 欧美日韩一区二区三区在线看| 日韩欧美国产电影| 中文字幕精品在线不卡| 亚洲影院理伦片| 国产专区综合网| 91老师片黄在线观看| 日韩视频在线你懂得| 国产精品私人影院| 日韩经典中文字幕一区| 成人免费av在线| 67194成人在线观看| 国产亚洲美州欧州综合国| 一区二区高清免费观看影视大全 | 91精品在线麻豆| 久久精品亚洲精品国产欧美kt∨| 久久青草欧美一区二区三区| 欧美韩国日本综合| 亚洲线精品一区二区三区| 久久99最新地址| 欧洲av一区二区嗯嗯嗯啊| 日韩欧美成人一区二区| 亚洲视频在线一区观看| 日本免费新一区视频| 成人av电影在线播放| 欧美一级免费观看| 亚洲人亚洲人成电影网站色| 男女激情视频一区| av电影天堂一区二区在线观看| 欧美一区二区三区成人| 亚洲色图一区二区三区| 久久国产精品99久久人人澡| 在线这里只有精品| 亚洲国产成人一区二区三区| 肉肉av福利一精品导航| 91丨porny丨首页| 久久夜色精品国产噜噜av| 亚洲一区二区三区在线看| 国产乱码精品一区二区三| 56国语精品自产拍在线观看| 国产精品拍天天在线| 九九精品视频在线看| 欧美美女直播网站| 亚洲人成亚洲人成在线观看图片| 狠狠色伊人亚洲综合成人| 91精品国产一区二区三区蜜臀| 亚洲欧洲成人自拍| 国产91对白在线观看九色| 精品99999| 老司机一区二区| 欧美一区二区三区视频在线观看| 亚洲一区二区中文在线| 在线观看日韩国产| 一区二区三区色| 在线观看91视频|