1. 概述
本学习总结报告是对最近在本科课程设计电商知识图谱中使用到的图数据库Neo4j的总结,旨在对Neo4j的使用方法、使用技巧和使用场景进行简单的描述。
2. Neo4j简介
Neo4j是一个开源的图形数据库,由java编写。Neo4j以图论为理论基础,用节点和关系所组成的图为真实世界建模,支持百亿乃至千亿量级规模的巨型图的高效关系运算,适合高效、便捷、直观地分析和处理大数据中的复杂关系。[1]
3. Neo4j主要模块和基本命令
3.1. 主要模块
Neo4j图数据库主要包含节点、属性、关系、标签四个构建块。节点是图表的基本单位,具有键值对的属性;属性是用于描述图节点和关系的键值对;关系是Neo4j图数据库的另一个主要构建块,它连接两个节点,像节点一样,关系也可以包含属性作为键值对;标签将一个公共名称与一组节点或关系相关联,节点或关系可以包含一个或多个标签。Neo4j将数据存储在节点或关系的属性中。
一个简单的Neo4j图数据库模块示例如下图所示。其中,Emp和Dept是两个不同的节点,Works_for是Emp和Dept节点之间的关系标签,Works_for的Id以及Emp节点中的Empno,Ename,Salary,Deptno为属性键值对。
3.2. 基本命令
像Oracle数据库具有查询语言SQL一样,Neo4j具有查询语言CQL。CQL即cypher,是一种声明式查询语言,即只用告诉计算机需要查询什么,而不用告诉计算机应该怎么查询。下面具体介绍CQL的一些基本命令。
CQL的基本命令包括CREATE(创建节点、关系和属性)、MATCH(检索有关节点、关系和属性数据)、RETURN(返回查询结果)、WHERE(提供条件过滤检索数据)、DELETE(删除节点和关系)、REMOVE(删除节点和关系的属性)、ORDER BY(排序检索数据)、SET(添加或更新属性、标签)、WITH(连接多个查询)、LIMIT(限制返回数目)。[2]
4. Neo4j使用方法
4.1. 创建节点、属性、关系、标签
具体的,创建两个动画角色——Tom和Jerry,并创建他们的单向关系——LIKES和HATES。
CREATE (n1:Role1:Cartoon1{name:"Tom",Species:"cat"})-
[r1:LIKES{level:"very"}]->(n2:Role2:Cartoon2{name:"Jerry",Species:"mouse"})
其中,n1是“From Node”的节点名称,Role1和Cartoon1是“From Node”的两个节点标签名称,name和species是“From Node”的节点属性;n2是“To Node”的节点名称,Role2和Cartoon2是“To Node”的两个节点标签名称,name和species是“To Node”的节点属性;r1是关系名称,LIKES是关系标签名称,level是关系标签LIKES的属性。
上述语句具体创建结果如下图所示,在下面描述中,我们将其称为“Tom and Jerry”图谱。
4.2. 删除节点、属性、关系、标签
CQL中删除有两个命令,即DELETE和REMOVE。下面分别介绍DELETE和REMOVE的用法。
(1) DELETE命令
DELETE可以用于删除节点或删除节点及相关节点和关系。
删除上述创建的“Tom and Jerry”图谱中Tom和Jerry以及他们的关系,可用如下CQL语句。
MATCH (n1:Role1:Cartoon1)-[r1]->(n2:Role2:Cartoon2)
DELETE n1,n2,r1
在进行单个节点删除时,如果该节点与其他节点存在关系,则无法直接删除,此时可以用DETACH关键字。如下列语句将”Tom”的节点及其关系删除。
MATCH (n1:Role1:Cartoon1)
DETACH DELETE n1
(2) REMOVE命令
CQL中的REMOVE命令用于删除节点或关系的标签或属性。
例如,下述语句可以删除上述图谱中”Jerry”的Cartoon2标签和Species属性。
MATCH (n2:Role2:Cartoon2)
REMOVE n2.Species,n2:Cartoon2
RETURN n2
4.3. 查询节点、关系
在CQL中,使用MATCH来进行数据搜索、WHERE进行查询结果过滤,RETURN进行查询结果返回。
例如,下述语句可以查询到上述“Tom and Jerry”图谱中Tom和Jerry的name属性以及他们之间的关系类型。
MATCH (n1:Role1)-[r1]->(n2:ROLE2)
RETURN n1.name,n2.name,type(r1)
4.4. Neo4j使用技巧
在实际使用中,上述使用方法往往只能满足简单的创建和查询,无法满足批量创建和复杂关联查询。下面总结一些十分有用的使用技巧,主要针对批量创建和复杂查询。
(1) 批量创建
可以将批量数据转换为CSV格式,然后用CQL中的LOAD CSV语句读取数据。例如一次创建Anders、Dilshad、Cesar、Becky、Filipa、Emil6个人物的数据以及他们的关系。分为两个步骤,第一,建立人物CSV数据和关系CSV数据,并将其存到Neo4j数据库的import文件夹下;第二,使用LOAD CSV语句将数据导入Neo4j。
//导入人物
LOAD CSV WITH HEADERS FROM "file:/renwu.csv" AS line
WITH line
CREATE (:Person{name:line.name,sex:line.sex,
age:line.age,occupation:line.occupation,id:line.id})
//导入关系
LOAD CSV WITH HEADERS FROM "file:/guanxi.csv"
AS line
MATCH (from:Person{id:line.from_id}),(to:Person{id:line.to_id})
MERGE (from)-[r:rel{property:line.rel_property}]->(to)
创建结果如下图所示。
(2) 复杂查询
在实际应用中,查询往往会涉及不相邻节点,此时若只用简单查询,则无法满足条件,可用变长路径查询或WITH命令连接多个查询。
① 变长路径查询
CQL支持变长路径查询,变长路径的表示方式是:(a)-[*N..M]->(b),N和M表示路径长度的最小值和最大值,起始节点是a,终止节点是b。
例如,在图4-2的图中,查询跟Filipa有关系的人,路径长度为1或2,查询的结果是:“Dilshad”和“Anders”。
MATCH (n1)-[:rel*1..2]-(n2)
WHERE n1.name='Filipa'
RETURN n2.name,n2.occupation
② WITH命令
WITH命令可以用于连接多个查询,有限制传入下一个match子句的实体数目以及对聚合值过滤的作用。
例如,在上述图4-2图谱中,查找Anders认识的人中是医生(Becky是医生)的人的朋友,查询的结果是:“Emil”。
MATCH (n1{name:"Anders"})-->(n2)
WITH n2
WHERE n2.occupation="doctor"
MATCH (n2)-->(n3)
RETURN n3.name
代码解释:首先,从“Anders”出发,找到关联的所有人的集合n2;然后,用WHERE语句取其中的医生;最后,返回与医生有向关联的人。
5. Neo4j使用场景
目前,业内已经有了相对比较成熟的基于图数据库的解决方案,大致可分为以下几类。
5.1. 欺诈检测与分析解决方案
数据关系的实时分析对于在欺诈者和罪犯造成持久损害之前发现欺诈环和其他复杂的骗局至关重要。通过图分析可以对不同的个体、团体在某个特定时间内的行为做关联分析,从而分析个人相关嫌疑、发现欺诈环。
5.2. 推荐引擎
Neo4j图数据库具有关联产品,客户,库存,供应商,物流甚至社会情感数据的能力,此外,Neo4j还能够通过匹配历史数据和会话数据立即捕获客户当前访问中显示的任何新兴趣。由Neo4j图数据库支持的推荐引擎能够通过实时利用大量连接来帮助公司个性化产品,内容和服务,从而实时提出相关建议。
5.3. 社交网络
无论是利用已声明的社交关系还是基于活动来推断关系,诸如Neo4j之类的图形数据库在创建创新性社交网络或将当前社交图集成到企业应用程序中都提供了崭新的可能性。使用Neo4j可以减少数据建模的时间,从而提高社交网络应用程序的开发质量和速度。
5.4. 其他
除了上述应用,Neo4j还可以用于知识图、IT运营的网络和数据库基础架构监视、主数据管理、身份访问和管理、隐私,风险和合规、人工智能与分析等场景。
参考文献
[1] neo4j官网[DB/OL]. https://neo4j.com,2020-01-09
[2] neo4j教程[DB/OL].https://www.w3cschool.cn/neo4j/,2019-12-12