GeoMesa Java API-写入与查询数据

1 写入数据

GeoMesa作为空间大数据处理框架,本身是不存储数据的。数据存储依赖于底层的分布式数据库,如HBase,Accumulo等。GeoMesa为了同时支持多种数据库,提供了一个抽象的接口,屏蔽不同数据库操作方法的差异,使用户用一种统一的方式存储和查询数据。来看下面这GeoMesa存储架构图:

sampleIngestArch.png

从这张图中可以看出,无论采用何种方式写入数据,我们都不需要直接操作数据库,而只需按照GeoTools或GeoMesa的接口,规范好要存储的数据,提交给GeoMesa处理即可。GeoMesa会自动为我们完成创建元数据、创建索引、存储数据等一系列过程。

GeoTools 是英国利兹大学(University of Leeds)的James Macgll 从1996 年开始研发的一个操作和显示地图的开源Java 代码库,提供了一系列符合规范的操作地理空间数据的方法,可以用它来实现一个地理信息系统。GeoTools库在开发时执行OGC规范。

GeoTools提供了许多用于表示地理空间数据的接口,可以用他们来定义需要存储的数据:

DataStore

DataStore是数据的核心访问模型,存储了数据集的名称、数据结构与类型、数据访问源等信息,类似一种数据元信息的存储集合,用于定义和描述数据的基本信息。

SimpleFeatureType

SimpleFeatureType即简单要素类型,用于定义数据类型,类似SQL语句中create table时定义表字段时所指定的信息。常用一种特殊格式的字符串表示,如:

tpList:String,startTime:Date:default=true,startPoint:Point:srid=4326:default=true

创建SimpleFeatureType时,需要使用GeoMesa提供的org.locationtech.geomesa.utils.interop.SimpleFeatureTypes类,而不是直接使用Geotools的DataUtilities创建,目的是为了支持更多的数据类型。

sft = SimpleFeatureTypes.createType(getTypeName(), attributes.toString());

SimpleFeatureType在DataStore中被称为Schema,使用dataStore.createSchema(sft)函数在DataStore中创建Schema。

SimpleFeature

SimpleFeature即简单要素,用于定义具体的数据。可以使用Geotools提供的SimpleFeatureBuilder类创建,只需要按照先前定义的SimpleFeatureType,依次传入相应类型的数据,最后设置Feature的ID即可,如:

SimpleFeatureBuilder builder = new SimpleFeatureBuilder(getSimpleFeatureType());
builder.set("tpList", ptListString);
builder.set("startTime", new Date(Long.valueOf(startTime)*1000));
builder.set("startPoint", "POINT (" + startPointY + " " + startPointX + ")");
SimpleFeature feature = builder.buildFeature(id);

其中,空间数据可以用WKT(well-known-text)格式的字符串来表示。

写入

创建好SimpleFeature后,就可以开始向数据库中写入数据了。
使用Geotools提供的FeatureWriter执行写入操作,具体代码如下:

FeatureWriter<SimpleFeatureType, SimpleFeature> writer = datastore.getFeatureWriterAppend(sft.getTypeName(), Transaction.AUTO_COMMIT)
for (SimpleFeature feature : features) {
    SimpleFeature toWrite = writer.next();
    // copy attributes
    toWrite.setAttributes(feature.getAttributes());
    // if you want to set the feature ID, you have to cast to an implementation class
    // and add the USE_PROVIDED_FID hint to the user data
     ((FeatureIdImpl) toWrite.getIdentifier()).setID(feature.getID());
     toWrite.getUserData().put(Hints.USE_PROVIDED_FID, Boolean.TRUE);

    // make sure to copy the user data, if there is any
    toWrite.getUserData().putAll(feature.getUserData());

    // write the feature
    writer.write();
}

完整代码:官方教程

2 查询数据

GeoMesa同样使用了GeoTools工具,作为查询操作的接口,查询时的过程图如下:

sampleQueryArch.png

使用GeoTools进行查询的基本流程如下:
① 获取要查询的要素名称,即写入时SimpleFeatureType的Name
② 对想要查询的字段,编写相应的查询条件,并创建Filter类型的对象
③ 创建Query对象,将上一步中所有查询条件加入其中
④ 执行查询,获得查询结果

其中,查询条件可以使用GeoTools提供的CQL(GeoTools’ Contextual Query Language)或ECQL语句编写,并直接转换为Filter对象,例如:

Filter result = CQL.toFilter("ATTR1 < 10 AND ATTR2 < 2 OR ATTR3 > 10" );
Filter result = CQL.toFilter( "ATTR1 AFTER 2006-11-30T01:30:00Z/2006-12-31T01:30:00Z" );
Filter result = CQL.toFilter( "CONTAINS(ATTR1, POINT(1 2))" );
Filter result = CQL.toFilter( "BBOX(ATTR1, 10,20,30,40)" );
Filter result = CQL.toFilter( "DWITHIN(ATTR1, POINT(1 2), 10, kilometers)" );

完整CQL教程:官方文档

执行查询时,使用FeatureReader完成查询操作,代码如下:

List<SimpleFeature> queryFeatureList = new ArrayList<>();
FeatureReader<SimpleFeatureType, SimpleFeature> reader = datastore.getFeatureReader(query, Transaction.AUTO_COMMIT) 
int n = 0;
while(reader.hasNext()){
    SimpleFeature feature=reader.next();
    queryFeatureList.add(feature);
    n++;
}
System.out.println();
System.out.println("Returned"+n+"totalfeatures");

完整代码:官方教程

几个常用查询条件

设置最大返回条目:

Query query = new Query(typeName, ECQL.toFilter(queryCQL));
query.setMaxFeatures(Integer.parseInt(maxView));

设置排序:

Query query = new Query(typeName, ECQL.toFilter(queryCQL));
FilterFactoryImpl ff = new FilterFactoryImpl();
query.setSortBy(new SortBy[]{new SortByImpl(ff.property("startTime"), SortOrder.ASCENDING)});

统计查询-查总数

Query query = new Query(typeName);
query.getHints().put(QueryHints.STATS_STRING(), "Count()");

聚合查询-GroupBy,查每个分组的总数

Query query = new Query(typeName);
query.getHints().put(QueryHints.STATS_STRING(), "GroupBy(\"carID\",Count())");

统计查询-查最大最小值

Query query = new Query(typeName);
query.getHints().put(QueryHints.STATS_STRING(), "MinMax(\"startTime\")");

更多类型的统计/聚合查询:官方文档

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,219评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,363评论 1 293
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,933评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,020评论 0 206
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,400评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,640评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,896评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,597评论 0 199
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,327评论 1 244
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,581评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,072评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,399评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,054评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,083评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,849评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,672评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,585评论 2 270