海量数据展示

背景

    现在我们的数据量越来越来越大,往往会有短时间渲染大量数据的要求,但是往往这些数据过大难以实时处理,整体切片花费时间又过长。在这里提出一种缓存加实时处理的方案。

准备

    软件环境,PostGIS(3.0.0rc2 r17909)和 PostgreSQL( 12.0, compiled by Visual C++ build 1914, 64-bit),数据是微软开源的房屋数据。PostGIS3.0相对与PostGIS 2.5大幅度提升矢量切片性能,并行环境表现更好。

预处理

    预处理就是将3级到12级的矢量切片事先切好。首先获取数据12级的最大最小xyz,通过这个范围生成网格,然后和数据相交得到一一对应的关系表a。
    接下来就是使用四叉树键(quadkey),四叉树有一些有意思的特性。第一,四叉树键的长度等于该瓦片所对应的图像级别;第二,每个瓦片的四叉树键的前几位和其父瓦片(上一图像级别所对应的瓦片)的四叉树键相同,下图中,第1级的 '瓦片2' 是第2级的 '瓦片20' 至 '瓦片23' 的父瓦片,第2级的 '瓦片13' 是 第3级的 '瓦片130' 至 '瓦片133' 的父瓦片。通过四叉树的这个特性把3到11级的xyz和11级的xyz建立对应关系表b,最终a和b关联可以得到三到十一级和数据的对应关系。

    根据上述内容,我们就可以生成行矢量切片了,借助golang并发,千万级面数据预处理(加上gzip压缩)大概需要16分钟。

后台服务

    预处理矢量切片生成完以后,使用golang把矢量切片全部加载进程序中,并且建立键值对,能够快速的判断请求的xyz在3-11级是否有数据并且存在数据时能快速获取。当数据请求大于十一级时候,我们使用数据库查询方式获取矢量切片。后台编写时候遇到问题,后端向前端传输大的矢量切片速度过慢。我通过数据切割方式解决这个问题。打个比方,吃一个西瓜,你一口吃不下。那我们是不是切成块吃就可以?切块就是数据分割这样能较快的传输又不影响数据完整性。

渲染

    前台渲染使用mapbox gl加载自定义矢量切片


image

image

总结

    本文方案中使用缓存少量层级提升整体渲染速度,实际前端浏览中能较为流畅。由于数据限制,方案的测试数据较为单一,可能不具有代表性。本方案预处理切片层级不宜过大,超过12级预处理性能会急剧降低。

image

参考资料:

https://www.runoob.com/python/python-func-memoryview.html
https://stackoverflow.com/questions/45455121/python-convert-memoryview-to-string
https://docs.objectrocket.com/redis_python_examples.html
https://stackoverflow.com/questions/18655648/what-exactly-is-the-point-of-memoryview-in-python
https://blog.csdn.net/why_not2007/article/details/79062351
https://www.jianshu.com/p/443719f604a2
https://docs.microsoft.com/en-us/bingmaps/articles/bing-maps-tile-system?redirectedfrom=MSDN
https://github.com/Microsoft/USBuildingFootprints
https://github.com/buckhx/QuadKey/blob/master/quadkey/tile_system.py
https://github.com/CartoDB/python-quadkey
https://www.cnblogs.com/xwgli/archive/2013/04/12/3016345.html
https://stackoverflow.com/questions/415511/how-to-get-the-current-time-in-python
http://postgres.cn/docs/postgis-2.3/ST_SetSRID.html
https://postgis.net/docs/manual-dev/ST_TileEnvelope.html
https://postgis.net/docs/manual-dev/ST_AsMVTGeom.html
https://postgis.net/docs/ST_AsMVTGeom.html
https://wiki.openstreetmap.org/wiki/Slippy_map_tilenames
https://www.postgresql.org/docs/9.5/gist-builtin-opclasses.html
https://www.postgresql.org/docs/9.5/gist-intro.html
https://blog.csdn.net/xk_zhang/article/details/52014737
https://www.cnblogs.com/LCGIS/archive/2013/03/12/2954898.html
https://blog.csdn.net/Happy52Wang/article/details/90022686
https://blog.csdn.net/a624806998/article/details/87092890
http://www.dongcoder.com/detail-1195214.html
https://www.cnblogs.com/520zm/p/10743224.html
https://pynative.com/psycopg2-python-postgresql-connection-pooling/
http://initd.org/psycopg/docs/pool.html
https://www.v2ex.com/t/351734
https://www.cnblogs.com/kaituorensheng/p/4445418.html
https://blog.csdn.net/kanon122500000/article/details/61198902

推荐阅读更多精彩内容

  • # Awesome Python [![Awesome](https://cdn.rawgit.com/sindr...
    emily_007阅读 1,348评论 0 3
  • 原文链接 《Python数据分析》(Python for Data Analysis, 2nd Edition)第...
    李绍俊阅读 6,100评论 0 5
  • 今天有点咸🐟想做一只没有梦想的搬运工 十六进制编辑器 十六进制编辑器(二进制文件编辑器或字节编辑器)是一种允许操纵...
    Honny_Boo阅读 1,545评论 0 6
  • 八月,风带走了艳阳 连同那颗牧羊的心奔去南方 八月,雨送来了悲凉 踮脚望北的牧童正用眼睛歌唱 我坐在微温的地上 策...
    我是季阳阅读 94评论 0 2
  • 梦见了一起联合murder 。我同从前一样,附属品般被她带在身边,安安静静地参与了每一步。梦里没有负罪感而奇怪,安...
    路边的制杖阅读 71评论 0 0