Nessie可以管理像git 分支，合并数据源等一些特性；
- 受git的版本管理启发
- 跨表事务和可见性
- 支持hive,spark,AWS Athena,dremio，管理其数据湖的数据
- 深度和Apache Iceberg, Delta Lake and Hive 合作
- 可以用docker image，AWS lamada 以及github 源码运行
nessie是一个基于对象存储的服务和Library，你能维护多版本的数据，以及利用gi t一样的功能去管理数据湖的Branch和TAG；Nessie通过一下的表格式去进行版本管理的特性；
- apache Iceberg table
- Delta Lake tables
- Hive metastore table
- SQL views
基本概念
Nessie深受GIT启发；主要的概念大都是来源于GIT的概念；在很多情况下，你能够简单的替换Nessie中的一些概念；Nessie主要概念包括：
- commit：在某个时间点，所有表的一致性快照
- Branch：用户将commits增加到的一个引用位置
- Tag: 一次特定提交指向
- Hash: 一次特定提交生成的Hash字符串
除了上述一些概念，Nessie从一个main单一分支开始，并且指向特定的开始时间；用户可以马上向表中增加分支，如下伪代码：
$ create t1
...
$ insert 2 records into t1
...
$ create t2
...
$ insert 2 records into t2
...
一个用户可以使用Nessie的客户端去看主分支上所有的分支；你可以看到每次提交自动留下的操作记录；
$ nessie log
hash4 t2 data added
hash3 t2 created
hash2 t1 data added
hash1 t1 created
一个用户可以在某个特定的时间t创建新的Tag; 在此之后，用户能够继续改变表，但是在t时刻的数据版本将在Nessie中进行维护；
$ nessie tag mytag hash4
$ insert records into t1
$ select count(*) from t1 join t2
.. record 1 ..
.. record 2 ..
.. record 3 ..
.. 3 records ..
$ select count(*) from t1@mytag join t2@mytag
.. record 1 ..
.. record 2 ..
.. only 2 records ..
数据和元数据
Nessie 不需要拷贝你当下的数据；然后，他会按照你的数据集将文件进行隔离；不管你使用的是spark，Hive，或者其他的工具，你定义的每个变化操作，增加，删除你定义的数据源，都会改变你定义的表。Nessie会在每个时间点跟踪哪些文件与表相关，然后根据你的需要调用这些文件；
扩展性和性能
Nessie 用来构建大型的数据仓库；Nessie 支持百万级别的表和每秒一千次的提交；因为Nessie构建在Iceberg和delta Lake之上，每个表中有百万级别的文件；对此，Nessie可以支持比当今最大数仓大几个数量级的数据仓库；这些可能性大多都依赖于Nessie中的 表元数据的事务管理的隔离；
技术上
Nessie 可以多种方式部署，同时他由多个基本的Nessie service 构成；同时它通过REST APIS和简单的UI界面进行暴露；这些服务像多个包一些去暴露Nessie的版本管理的能力
TODO
Nessie can be deployed in multiple ways and is composed primarily of the Nessie service, which exposes a set of REST APIs and a simple browser UI. This service works with multiple libraries to expose Nessie’s version control capabilities to common data management technologies.
Nessie was built as a Cloud native technology and is designed to be highly scalable, performant and resilient. Built on Java and leveraging Quarkus, it is compiled to a GraalVM native image that starts in less than 20ms. This makes Nessie work very well in Docker and FaaS environments. Nessie has a pluggable storage backend and comes pre-packaged with support for DynamoDB and local storage.
