kafkaliu

数据工程的实践。 存量和增量逻辑分开，不要混到一起。起初想通过Airflow DAG中的一个Task同时进行存量和增量处理，整个代码逻辑变得比较复杂。增量未来需要持续运行，而...

kafkaliu

线性回归(linear regression)可以追溯到19世纪初，它在回归的各种标准工具中最简单而且最流行。线性回 归基于几个简单的假设:首先，假设自变量x和因变量y之间的...

kafkaliu

神经网络(neural networks)的得名源于生物灵感。一个多世纪以来(追溯到1873年亚历山大·贝恩和1890年 詹姆斯·谢林顿的模型)，研究人员一直试图组装类似于相...

kafkaliu

极紫外线光刻技术是全球最先进的半导体制造技术，可以推动科技进步和经济增长。美国政府限制了该技术的流入中国市场，导致该技术的商业化得不到支持。荷兰公司 ASML 是唯一能生产光...

kafkaliu

更进一步的做法： 找一台机器可以连接线上从库，安装Jupyter Notebook，直接写数据提取逻辑 验证无误后，可以直接在Jupyter Notebook中出报告，比如生...

kafkaliu

凯文·凯利2024最新演讲：从四个方向理解AI AI 的世界是基于规则的，人类与 AI 的关系可以从四种模式来思考。 人与 AI 的关系可以称为 + 1 关系，AI 更像是一...

kafkaliu

Airflow结合Jupyter Notebook。 数据工程师可以在本地开发环境中，借助Jupyter Notebook用交互方式快速验证取数逻辑 数据分析师也可以用Jup...

kafkaliu

要在 Git 中提交 Jupyter Notebook 时过滤掉输出内容，可以通过配置 Git 属性和过滤器来实现。以下是具体的步骤和代码示例，用于设置 Git，以便在提交时...

kafkaliu

保留历史数据：将已经记为退款单的订单保留在系统中，并添加一个额外的字段或标记来表示该退款申请已被取消。这样可以保留完整的历史记录，并且在需要分析历史数据时能够准确反映实际情况...

kafkaliu

React 视图层引入了声明式JSX，既是模板又是JS 单向数据流进行应用状态状态管理 底层实现了一套虚拟DOM，React通过对比新旧两套虚拟DOM降低渲染的成本 Reac...

kafkaliu

给一个典型的数据分析师工作的高效的workflow。 日常。数据分析师将配置好的日报、周报等数据报表，借助调度系统日常自动分发给各主管。这些报表最好是在线的文档，方便分享，方...

kafkaliu

用Ploomber和Jupyter构建数据管道开发。 Ploomber 是一个开源的 Python 库，用于通过 Jupyter Notebook 创建生产就绪的数据工作流。...

kafkaliu

来自金线所有项目成员（含项目领导）都要参与到解难的脑力工作中来。项目领导和项目经理不能高高在上，必须下场，湿手、湿脚、湿身，和大家一起头脑风暴、集思广益。这才能保证解难方案的...

kafkaliu

结构相似性 人脑由数十亿个神经元组成,这些神经元通过突触相互连接形成复杂的网络。类似地,人工神经网络也由大量的人工神经元(节点)组成,这些节点通过加权连接相互关联。 工作原理...

kafkaliu

THINK-AND-EXECUTE 是一个算法框架，它旨在通过发现给定任务背后的共享推理模式，并根据这个逻辑对每个实例进行定制化推理来解决这些问题。该框架由三个独特的步骤组成...

kafkaliu

来自亚马逊逆向工作法叙述体备忘录的设计目的，是提高组织高效沟通的数量和质量——比传统方法提升了一个数量级。写作这种高效的备忘录，需要艰苦的工作和某些冒险。好的叙述体备忘录要花...

kafkaliu

在大型语言模型（LLM）中，embedding模型扮演着至关重要的角色。它们通过将高维数据（如文本中的单词或句子）转换为低维的稠密向量，使得机器学习算法能够更有效地处理这些数...

kafkaliu

基于向量数据库的搜索引擎是一种利用机器学习来捕获文本和图像的含义和上下文，将其转化为数值表示的技术。这种搜索引擎通常用于语义搜索，通过近似最近邻算法找到相似的数据。与传统的关...

kafkaliu

函数式编程(Functional Programming)是一种编程范式，旨在基于λ演算创建纯数学函数。函数式编程通过创建纯函数来解决问题，避免了像面向对象编程中的可变数据和...

kafkaliu

处理access token失效问题： cache 设置 ttl 异常时重试机制 def __retry_on_access_token_expired(): r""" 内部...