大数据技术实践与分享 - 文集

21篇文章 · 14927字 · 1人关注

Flink使用GCS作为state backend
由于项目的原因，需要将Flink运行在GCP上，因此File System自然是想使用GCS. 在网上搜了很多，由于众所周知的原因，国内使用Go...

1204 1 3
Flink on Yarn模式下的TaskManager个数
本文探讨Flink on YARN 单一作业提交模式下的并发以及Task Manager等特性。 Flink on YARN支持两种模式，一种是...

0.5 15745 2 3

Flink DataSet和DataStream Print方法的区别
在Flink example中，有两个Wordcount的example特别类似，一个是batch下的WordCount一个是streaming...

0.5 7567 0 2
Flink Checkpoint机制解析-代码走读
Flink的Checkpoint机制是Flink容错能力的基本保证，能够对流处理运行时的状态进行保存，当故障发生时，能够备份的状态中还原。例如，...

1.4 3345 1 9
Openshift 3.11部署容器化mysql
OKD 3.11 提供了mysql数据库的catalog，以下为使用okd311从web console拉起mysql的步骤。创建storag...

0.3 2347 1 6
CentOS7.4离线安装OpenShift Origin3.11
本文参考openshift 3.11离线安装，遇到了一些环境相关的问题，所以梳理了以下，如果遇到类似问题，可以参考。环境准备硬件环境公司内部...

0.7 5868 2 11
TensorFlow模型服务之Estimator.predict预测
在使用TensorFlow进行建模、训练和预测时，可以使用estimator这样的高阶函数方便使用。基本的套路是：训练 fit 初始化clas...

0.1 20123 0 4 1

Numpy在云虚拟机上crash问题
在python中使用Pandas和Numpy库创建一个Pandas DataFrame是一个常见的操作，但就是这一个常见的操作也会在特定的场景下...

1677 0 3 1
理工男的文科梦 —— LSTM深度学习写春联
笔者作为一名根正苗红的理工男，内心却常常有很多文艺青年才会有的想法，例如写首诗、做首词，甚至包括春节写副对联，空有一番愿望却胸无点墨。随着对机器...

0.3 4519 4 24 3