百亿元级图数据信息在快手安全性情报信息的运用与挑戰

传统式的关联型数据库查询，在解决繁杂数据信息关系运算上主要表现很差，伴随着信息量和深层的提升，关联型数据库查询没法在合理的時间内测算出結果。

因此 ，为了更好地更强的反映数据信息间的联接，公司必须一种将关联信息内容储存为实体线、灵便扩展数据库系统的数据库系统，此项技术性便是图数据库（Graph Database）。

文中先发于 Nebula Graph 微信公众号 NebulaGraphCommunity，Follow 看大型厂图数据库技术性实践活动。

【作者介绍】

• 戚名钰：快手视频安全性-终端安全组，关键承担快手视频安全性情报信息服务平台的基本建设
• 倪雯：快手数据服务平台-分布式系统组，关键承担快手图数据库查询的基本建设
• 姚靖怡：快手数据服务平台-分布式系统组，关键承担快手图数据库查询的基本建设

【公司概况】

快手视频是一家全世界领跑的內容小区和社交网络平台，致力于根据小视频的方法协助大家发觉所需、发挥特长，不断提高每一个人与众不同的满足感。

一. 为何必须图数据库

传统式的关联型数据库查询，在解决繁杂数据信息关系运算上主要表现很差，伴随着信息量和深层的提升，关联型数据库查询没法在合理的時间内测算出結果。

因此 ，为了更好地更强的反映数据信息间的联接，公司必须一种将关联信息内容储存为实体线、灵便扩展数据库系统的数据库系统，此项技术性便是图数据库（Graph Database）。

对比于传统式关联型数据库查询，图数据库具备下列2个优势：

第一点，图数据库能非常好地反映数据信息中间的关联方交易

从上边的图实体模型能够看得出，图数据库的总体目标便是根据图实体模型以一种形象化的方法来展现这种关联，其根据事情关联的实体模型表述，使图数据库纯天然具备可实证性。

第二点，图数据库能非常好地解决数据信息中间的关联方交易：

• 性能卓越：传统式关联型数据库查询在解决关联方交易数据信息时关键靠 JOIN 实际操作，而伴随着信息量的增加和关系深层的提升，受限于多表联接与外键约束，传统式关联型数据库查询会造成很大的附加花销，造成比较严重的特性难题。而图数据库从最底层兼容了图实体模型的算法设计，促使它的数据统计与剖析速率更快。
• 灵便：图数据库有更加灵活的数据库系统，使用人能够依据业务流程转变随时随地调节图算法设计实体模型，能够随意加上或删掉端点、边，扩大或是变小图实体模型等，这类经常的数据信息schema变更在图数据库可以到非常好的适用。
• 灵巧：图数据库的图实体模型十分形象化，适用检测驱动开发方式，每一次搭建时可开展系统测试和功能测试，合乎现如今最时兴的敏捷开发要求，针对提升生产制造和交货高效率也是有一定协助。

根据之上2个优势，图数据库在金融业风控系统、公安机关刑警队、社交媒体、语义网、数据信息血缘关系、IT 财产及运维管理、威胁情报等行业有极大要求。

而快手视频安全性情报信息则是根据融合手机端、PC Web 端、云空间、同盟及微信小程序等全传动链条的安全性数据信息，最后产生统一的基本安全性工作能力颠覆式创新公司业务。

因为安全性情报信息自身具备数据信息实体线多元性、关联方交易多元性、数据标签多元性等特性，因而选用图数据库来做是更为适合的。

二. 为何挑选 Nebula Graph

根据搜集要求及早期调查，快手视频安全性情报信息在图数据库上最后挑选了Nebula Graph做为工作环境的图数据库。

2.1 要求搜集

针对图数据库的型号选择而言，其关键要求是在数据信息载入与数据统计2个层面：

1. 数据信息载入方法：线下 线上
   • 必须适用玄阶的线下数据信息批量导入，每日增加载入信息量在百亿元等级，规定当日造成的关联方交易数据信息，钟头级能写完
   • 必须适用数据信息的即时载入，Flink 从 Kafka 中消費数据信息，并在做了逻辑性解决以后，立即连接图数据库，开展数据信息的即时载入，必须适用的 QPS 在 10W 数量级
2. 数据统计方法：ms级的线上实时查询，必须适用的 QPS 在 5W 数量级
   • 点及边的特性过虑及查看
   • 摄氏度关联方交易的查看
3. 一部分基本上图数据统计分析工作能力
   • 图最短路径算法优化算法等

总的来说，本次型号选择的适用大数据架构的图数据库关键必须给予 3 种能力素质：即时和线下数据信息载入、在曲线图数据信息基本上查看、根据图数据库的简易 OLAP 剖析，其相匹配精准定位是：线上、分布式系统、低延迟 OLTP 类图网络查询及简易 OLAP 类图查看工作能力。

2.2 型号选择

根据之上的可预测性要求，在开展图数据库的型号选择上，大家关键考虑到了以下几个方面：

• 图数据库能够适用的信息量务必要充足大，由于公司级的图数据信息常常会做到百亿元乃至千亿元等级
• 群集可线形扩展，由于必须可以在工作环境不断服的状况下线上拓展设备
• 查看特性要做到ms级，由于必须达到在线客服的特性规定，且伴随着图信息量的增加，查看特性不受影响
• 可以较便捷的与 HDFS、Spark 等数据管理平台连通，中后期可以在这个基础上构建图计算服务平台

2.3 Nebula Graph的特性

1. 性能卓越：给予ms级读写能力
2. 可拓展：可水准扩充，适用集成电路工艺图储存
3. 模块构架：储存与测算分离出来
4. 图数据库系统：点（vertex）、边（edge），而且适用点或边的特性（properties）模型
5. 数据库架构：nGQL，类 SQL 的数据库架构，易懂实用，达到繁杂业务流程要求
6. 给予了比较丰富多彩和健全的数据信息导入导出专用工具
7. Nebula Graph 做为开源系统图数据库商品，在开源项目具备优良的人气值
8. 相比于 JanusGraph 和 HugeGraph，Nebula Graph查看特性有巨大的提高

恰好是根据Nebula Graph的之上特性及其对大家应用情景和要求的正好达到，因而最后挑选Nebula Graph做为大家工作环境的图数据库来应用。

三. 安全性情报信息的图大数据挖掘

如下图所显示，从情报信息的视角看来，安全性的分层次抵抗与防御，从下向上，其抵抗难度系数是慢慢提升的：

每一个平面图上，以前进攻方与防御方全是独立的抵抗，如今运用图数据库以后，能够将每一个层级的实体线ID根据关联方交易串连起來，产生一张立体式层级的网，根据这张立体式层级的网可以使公司迅速把握网络攻击的拒绝服务攻击、舞弊专用工具、犯罪团伙特点等较全景的信息内容。

因而根据安全性数据信息的图构造大数据挖掘，能够将原先的平面图鉴别层级变为立体式网状结构鉴别层级，能协助公司更清楚精确的鉴别进攻与风险性。

3.1 基本上图构造

安全性情报信息的图模型关键目地是期待分辨一切一个层面风险性的情况下，不单是限于该层面自身的情况与特性去看看它的风险性，只是将层面从个人拓展为互联网方面，根据图构造的数据信息关联，根据左右层级（对映异构图）及平级层级（同构图法）立体式去观查该层面的风险性。

以机器设备风险性举例说明：对一个机器设备来讲，总体分成传输层、设备层、账户层和客户层这四个方面，每一个方面都由其象征性的实体线 ID 来表述。根据图数据库，能够保证对一个机器设备开展立体式的三维层级的风险性认知能力，这针对风险性的鉴别会十分有协助。

如上图所述所显示，它是安全性情报信息的基本上图构造模型，之上组成了一个根据安全性情报信息的语义网。

3.2 动态图片构造

在基本上图构造以上，还必须考虑到的是，每一种关联方交易的存有全是有及时性的，A 时间范围内关联方交易存有，B 时间范围内该关联方交易则不一定存有，因而大家期待安全性情报信息能在图数据库上真正体现客观事物的这类不一样时间范围内的关联方交易。

这代表着必须伴随着查看時间区段的不一样，而展现出不一样的图结构模型的数据信息，大家称作动态图片构造。

在动态图片构造的设计方案上，牵涉到的一个难题是：在被查看的区段上，哪些的边关联应当被回到？

如上图所述所显示，当查看時间区段为 B、C、D 时，这一条边应当要被回到，当查看時间区段为A、E时，这一条边不应该被回到。

3.3 权重值图构造

在应对黑灰产或是真人版做恶时，通常会发生这类状况：便是一个机器设备上边会相匹配十分多的账户，有一些账户是非法坏蛋自身的常见账户，而有一些账户则是她们买回来做特殊非法直播间的账户。为相互配合公安机关或法律事务部的严厉打击，大家必须从这批账户里边精确区别出什么账户是真正坏蛋自身的常见账户，而什么账户仅仅她们买回来用以做恶的账户。

因而这里边会牵涉到账户与机器设备关联方交易边的权重值难题：如果是该机器设备常见的账户，那麼说明这一账户与这一机器设备的关联是极强的关联，则这条边的权重值便会高；假如只是是做恶/做直播的情况下才会应用的账户，那麼账户与机器设备的关联则会较为弱，相对应权重值便会低一些。

因而我们在边的特性上，除开有时间维度外，还提升了权重值层面。

总的来说，最后在安全性情报信息上所创建的图实体模型是：带权重值的动态性时区图构造。

四. 根据图数据库的安全性情报服务构架与提升

总体安全性情报服务框架图以下所显示：

安全性情报服务总体框架图

在其中，根据图数据库的情报信息综合性查询系统，软件体系结构如下图所显示：

情报信息综合性查询系统软件架构图

注：AccessProxy 适用办公平台到 IDC 的浏览，kngx 适用 IDC 内的立即启用

4.1 线下数据信息载入提升

对于所搭建的关联方交易数据信息，每天更新的量在数十亿等级，怎样确保这数十亿等级的数据信息能在钟头级内载入、认知数据信息出现异常且不遗失数据信息，这也是一项十分有趣味性的工作中。

对这一部分的提升主要是：不成功再试、脏数据发觉及导进不成功警报对策。

数据信息导进全过程中会因为脏数据、服务器端颤动、数据库查询过程挂了、载入太快等多种要素造成写 batch 数据信息不成功，大家根据用同歩 client API、多等级的再试体制及不成功撤出对策，解决了因为服务器端颤动重新启动等状况导致的写不成功或写 batch 不彻底取得成功等难题。

4.2 双群集 HA 确保与转换体制

在图数据库一部分，快手视频布署了线上与线下两个图数据库集群，2个群集的数据信息选用同歩双写，线上群集担负线上 RPC 类的服务项目，线下群集担负 CASE 剖析及 WEB 查看的服务项目，这两个群集互相危害。

另外群集的情况监管与动态性配备下达控制模块是连通的，当某一个群集发生慢查询或产生常见故障时，根据动态性配备下达控制模块来开展全自动转换，保证顶层业务流程无认知。

4.3 群集可靠性基本建设

数据架构精英团队对开源系统版本号的 Nebula Graph 开展了总体的调查、维护保养与改善。

Nebula 的群集选用测算储存分离出来的方式，从总体构架看，分成 Meta，Graph，Storage 三个人物角色，各自承担元数据管理，测算和储存：

Nebula 总体框架图

Nebula 的储存层做为图数据库引擎的基座，适用多种多样储存种类，大家应用 Nebula 时挑选了經典方式，即用經典的 C 完成的 RocksdDB 做为最底层 KV 储存，并运用 Raft 优化算法处理一致性的难题，使全部群集适用水准动态性扩充。

储存层框架图

大家对储存层开展了充足的检测、编码改善与主要参数提升。在其中包含：提升 Raft 心率逻辑性、改善 leader大选和 log offset 的逻辑性及其对 Raft 主要参数开展调优评，来提高单群集的常见故障修复時间；再融合手机客户端再试体制的提升，促使 Nebula 模块在客户体验上从最开始的常见故障立即断线改进为常见故障ms级修复。

在联动报警管理体系上，大家搭建了对群集好几个方面的监管，其总体监管构架如下图所显示：

群集监管框架图

包含以下好多个层面：

1. 设备硬件配置方面 cpu busy、硬盘 util、运行内存、互联网等
2. 群集每一个人物角色 meta、storage、graph 服务项目插口监管、partition leader发布情况及遍布的监管
3. 从客户视角对群集总体易用性的评定监管
4. 群集各人物角色 meta、storage、rocksdb、graph 的 metric 收集监管
5. 慢查询监管

4.4 对非常连接点查看的提升

因为实际图网络架构圆心的出度通常合乎幂律分布特点，图解析xml碰到非常点（出度上百万/干万）将造成数据库查询方面显著的慢查询，怎样确保在线客服查看用时的稳定性，防止极端化用时的产生是大家必须处理的难题。

图解析xml非常点难题在工程项目上的处理构思是：在业务流程可接纳的前提条件下变小查看经营规模。具体做法有：

1. 查看中做满足条件的 limit 断开
2. 查看按一定占比开展边取样

下边各自叙述实际的优化策略：

4.4.1 limit 断开提升

【必要条件】

业务流程方面可接纳每一跳做 limit 断开，比如以下2个查看：

# 最后做limit断开
go from hash('x.x.x.x') over GID_IP REVERSELY where (GID_IP.update_time >= xxx and GID_IP.create_time <= xxx) yield GID_IP.create_time as create_time, GID_IP.update_time as update_time, $^.IP.ip as ip, $$.GID.gid | limit 100
# 在中间查看結果早已干了断开，随后再开展下一步
go from hash('x.x.x.x') over GID_IP REVERSELY where (GID_IP.update_time >= xxx and GID_IP.create_time <= xxx) yield GID_IP._dst as dst | limit 100 | go from $-.dst ..... | limit 100

【提升前】

对第二个查看句子，在提升前，storage会解析xml点的全部出度，graph 层在最后回到 client 前才做 limit n 的断开，这类没法防止很多用时的实际操作。

此外 Nebula 尽管适用 storage 配备群集（过程）等级主要参数max_edge_returned_per_vertex（每一个 vertex 扫描仪较大 出度），但不能满足查看句子等级灵便特定 limit 而且针对多跳多一点出度查看也没法保证句子等级精准限定。

【提升构思】

一跳 go 解析xml查看分二步：

• step1：扫描仪 srcVertex 全部出度 destVertex（另外获得边的特性）
• step2：获得全部 destVertex 的特性 value

那麼 go 多跳解析xml中每跳的实行分二种状况：

• case 1：只实行 step1 扫边出度
• case 2：实行 step1 step2

而 step2 是用时大部分（查每一个 destVertex 特性即一次 rocksdb iterator，不击中 cache 状况下用时 500us），针对出度大的点将「limit 断开」提早到 step2 以前是重要，此外 limit 能下推到 step1 storage 扫边出度环节针对非常点也是有很大的盈利。

这儿大家汇总下哪些标准下会实行「limit 断开提升」以及盈利：

表注解: N 表明 vertex 出度，n 表明 limit n，scan 表明扫边出度耗费，get 表明获得 vertex 特性的耗费

【检测实际效果】

针对之上 case1 和 case2 可实行「limit 断开提升」且盈利显著，在其中安全性业务办理归属于 case2，下列是在 3 台设备群集，单机版单盘 900 GB 数据信息储存量上对于 case2 limit 100 做的检测結果（不击中 rocksdb cache 的标准）：

之上检测结果显示，历经大家的提升后，在图非常点查看用时上，获得了十分出色的主要表现。

4.4.2 边取样提升

对于不可以简易做「limit 断开提升」的情景，我们可以采用「边取样提升」的方法来处理。在 Nebula 小区原生态适用的“storage 过程等级可配备每一个 vertex 较大 回到出度边和打开边取样作用”基本上，大家提升后，能够进一步适用以下作用：

1. storage 打开取样作用后，可适用配备扫max_iter_edge_for_sample总数的边并非扫全部边（默认设置）
2. graph 适用 go 每跳出来度取样作用
3. storage 和 graph 的“取样是不是打开 enable_reservoir_sampling”和“每一个 vertex 较大 回到出度 max_edge_returned_per_vertex”都适用 session 等级主要参数可配

根据之上作用的适用，业务流程能够更灵便地调节查看取样占比，操纵解析xml查看经营规模，以做到在线客服的光滑性。

4.5 查看手机客户端的更新改造与提升

开源系统的 Nebula Graph 有自身的一套手机客户端，而如何把这套手机客户端与快手视频的工程项目紧密结合，这儿大家也干了一些相对应的更新改造与提升。关键解决了下边2个难题：

• 数据库连接池化：Nebula Graph 官方网手机客户端给予的最底层插口，每一次查看都必须创建联接复位、执行查询、关掉联接这种流程，在高频率查看情景中经常建立、关掉联接巨大地危害着系统软件的特性与可靠性。结合实际，根据数据库连接池化技术性对官方网手机客户端开展二次封裝，并对联接生命期的每个环节开展监管，完成了联接的多路复用和共享资源，提高了业务流程可靠性。
• 全自动常见故障转换：根据对联接创建、复位、查看、消毁每个环节的出现异常监管和按时探活，完成了数据库集群中的常见故障连接点的即时发觉和全自动去除，假如全部群集不能用，则能秒级转移至预留群集，减少了群集常见故障对线上业务流程易用性导致的潜在性危害。

4.6 查看結果的数据可视化及免费下载

对于固定不动关联的查看（写死 nGQL），前面依据回到結果，开展订制化的用户界面展现，如下图所显示：

这儿前面选用ECharts的关系图，在前面的图构造数据加载及展现这儿也干了一些提升。

难题一：关系图必须能展现每一个连接点的详细信息信息内容，而 ECharts 给予的图中只有做简易的 value 值的展现。

解决方法：在源代码上开展更新改造，每一个连接点加上点击事件，弹出来模态框展现大量的详细信息信息内容。

难题二：关系图在点击事件开启后，图会出现长时间的旋转，没法分辨点一下了哪一个连接点。

解决方法：获得第一次3D渲染图型时每一个连接点的对话框部位，在点击事件开启后，给每一个连接点部位固定不动出来。

难题三：当图的连接点诸多情况下，关系图展现的较为拥堵。

解决方法：打开电脑鼠标放缩和评定数据漫游作用。

对于灵便关联的查看（灵便 nGQL），依据布署的Nebula Graph Studio开展数据可视化的展现，如下图所显示：

五. 图数据库在安全性情报信息上的实践活动

根据之上图数据库的构造与提升，大家给予了 Web 查看和 RPC 查看二种连接方法，关键适用了快手视频的以下业务流程：

• 适用快手视频安全性的追溯、线下推广严厉打击与黑灰产剖析
• 适用网络安全防护的风险控制与反挂

比如，群控系统机器设备与一切正常机器设备在图数据信息上的主要表现存有显著差别：

针对群控系统机器设备的鉴别：

六. 汇总与未来展望

• 可靠性基本建设：群集 HA 工作能力完成跨 AZ 群集的即时同歩、浏览全自动转换，以确保99.99 的 SLA
• 特性提高：考虑到更新改造 RPC、AEP 新硬件配置的储存计划方案、提升查看执行计划
• 图计算服务平台与图查看连通：基本建设图计算/图学习培训/图查看的一体化平台
• 即时判断：即时关联的载入及即时风险性的综合性判断

七. 感谢

谢谢开源项目Nebula Graph对快手视频的适用。

沟通交流图数据库技术性？添加 Nebula 交流群请先填好下你的 Nebulae 个人名片，Nebula 助手会拉你入群~~

阅读推荐

• 【美团外卖图数据库数据平台及业务流程实践活动】
• 【Nebula Graph 在微众银行大数据应用的实践活动】
• 【图数据库型号选择 ｜ 360 数科的图数据库迁移史】