Json海量数据解析
前言
在android开发中，app和服务器进行数据传输时大多数会用到json。在解析json中通常会用到以下几种主流的解析库：jackson、gson、fastjson。而对于从server端获取的数据量很小时候，我们可能会忽略解析所产生的性能问题。而我在开发的过程中就碰到因为解析json而产生严重的问题。
问题场景
先描述以下问题的场景：app做收银库存管理。这时候每次登陆时候会去服务端同步所有的商品、分类等数据。而这时候，当商品的数量很大的时候，客户端拿到数据时候对app来说还是比较大的。而server端是将所有的数据序列化为json字符串存入到文件，然后app去下载文件并进行解析。下面说下我的修改历程。
踩坑过程
- 第一版代码是直接讲文件读出为字符串，使用gson直接反序列化
new Gson().fromJson(String s,Type type)这时候OOM，查看日志，发现文件读出字符串时候直接OOM了（当初并没有考虑会有这么大的数据，晕倒）。从server端下载下来的文件就有20M左右。 - 第二版代码使用FastJson的JSONReader。对每个对象进行单独序列化。也就是下面讲到的fastjson方法1。这时候OOM问题的解决了。因为是读的文件流，边读边解析数据。基本解决了问题。但通过Android Studio的Monitors发现，解析时候内存不断的在被消耗（汗。。还好没有爆掉）。
- 第三版代码使用Fastjson的JSONReader。对每个json的每个key每个value都单独的解析和读取。也就是下面讲到的fastjson方法2。这时候所有的性能问题全部解决，速度最快，几乎没有消耗多少内存。
上面是我一步步走过得坑，唉。可能对于看过fastjson源码的童鞋来说so easy。但第一次碰到后，坑还是得一步步的踩。当然也是要不断的通过看源码、写测试代码、比较内存和时间。下面是我做的一些测试。
测试验证
准备工作
-
相关依赖库
compile group: 'com.alibaba', name: 'fastjson', version: '1.2.29' // https://mvnrepository.com/artifact/commons-io/commons-io compile group: 'commons-io', name: 'commons-io', version: '2.5' // https://mvnrepository.com/artifact/com.google.code.gson/gson compile group: 'com.google.code.gson', name: 'gson', version: '2.8.0's
-
测试数据生成
public void createDataFile() { List<Good> goodList = new ArrayList<>(); for (int i = 0; i < 200000; i++) { Good good = new Good(System.currentTimeMillis() + "_" + i, new String("booke") + i, 10.f + i, System.currentTimeMillis() + "", "describe book" + i, i); goodList.add(good); } try { String json = JSONArray.toJSONString(goodList); FileUtils.write(new File("e://goods.json"), json, "UTF-8"); } catch (IOException e) { log("" + e.getMessage()); e.printStackTrace(); } }
结果分析
-
gson解析
使用流进行读取。20W条数据，内存不断的被消耗。两次解析时间为 50,488ms、48,940ms 性能是相当的差
List<Good> list = new Gson().fromJson(new InputStreamReader(getAssets().open("goods.json"),
"UTF-8"), new TypeToken<List<Good>>() {}.getType());
1.png
- fastjson方法1
使用流进行读取。内存也是不断被消耗。三次解析时间为 33,394ms 31,632ms 32,378ms
JSONReader reader = new JSONReader(new InputStreamReader(getAssets().open("goods.json"),
"UTF-8"));
reader.startArray();
while (reader.hasNext()) {
Good good = reader.readObject(Good.class);
}
reader.endArray();
reader.close();
reader = null;
2.png
-
fastjson方法2
使用流进行读取，每个key和value自己来处理。三次解析时间为 31,242ms 31,583ms 30,834ms。同时，内存几乎没有太多的占用，比较的平稳。这个方法当然最优。
JSONReader reader = new JSONReader(new InputStreamReader(getAssets().open("goods.json"),
"UTF-8"));
reader.startArray();
while (reader.hasNext()) {
reader.startObject();
Good good = new Good();
while (reader.hasNext()) {
String key = reader.readString();
if ("id".equals(key)) {
good.setId(reader.readString());
} else if ("name".equals(key)) {
good.setName(reader.readString());
} else if ("price".equals(key)) {
good.setPrice(Double.parseDouble(reader.readString()));
} else if ("barCode".equals(key)) {
good.setBarCode(reader.readString());
} else if ("desc".equals(key)) {
good.setDesc(reader.readString());
} else if ("count".equals(key)) {
good.setCount(Integer.parseInt(reader.readString()));
} else {
reader.readObject();
}
}
reader.endObject();
}
reader.endArray();
reader.close();
reader = null;
3.png
最后我们对比消耗时间
5.png
其他
- Good.java
public class Good {
private String id;
private String name;
private double price;
private String barCode;
private String desc;
private int count;
public Good() {
}
public Good(String id, String name, double price, String barCode, String desc, int count) {
this.id = id;
this.name = name;
this.price = price;
this.barCode = barCode;
this.desc = desc;
this.count = count;
}
public String getId() {
return id;
}
public void setId(String id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public double getPrice() {
return price;
}
public void setPrice(double price) {
this.price = price;
}
public String getBarCode() {
return barCode;
}
public void setBarCode(String barCode) {
this.barCode = barCode;
}
public String getDesc() {
return desc;
}
public void setDesc(String desc) {
this.desc = desc;
}
public int getCount() {
return count;
}
public void setCount(int count) {
this.count = count;
}
@Override
public String toString() {
return "Good{" +
"id='" + id + '\'' +
", name='" + name + '\'' +
", price=" + price +
", barCode='" + barCode + '\'' +
", desc='" + desc + '\'' +
", count=" + count +
'}';
}
}
