数据库
-
2024年10月16日，由中国通信标准化协会主办、中国信息通信研究院承办的“2024 OSCAR开源产业大会”在北京成功举办。工业和信息化部信息技术发展司软件产业处处长李琰、中国信息通信研究院党委副书记王晓丽、中国通信标准化协会副理事长兼秘书长代晓慧出席并发表致辞。人民日报出版社副社长赵军、中国电力发展促进会副秘书长李国春以及来自产业界的众多企业代表也共同出席了此次会议。 大会旨在搭建一
2024-10-17 -
1. 部署位置 1.1. 当公司在决择在何处搭建技术栈时会有数不清的选择 1.1.1. 除非有令人信服的理由，否则不要选择复杂的多云或混合云策略 1.2. 本地 1.2.1. 当越来越多的初创公司在云技术下诞生，本地系统仍是默认的公司创立地 1.2.2.
2024-10-17 -
在现代数据处理和工作流管理中，Apache DolphinScheduler 以其强大的调度能力和易用性，成为了许多企业和开发者的首选工具。 本文将深入探讨 DolphinScheduler 的进阶使用技巧，包括参数传递、资源中心管理、告警通知配置，以及如何在真实项目中高效使用 DolphinScheduler。 进阶使用 参数传递 参数传递是 DolphinSched
2024-10-17 -
1. 选择技术 1.1. 架构第一，技术第二 1.2. 现如今数据工程师因技术种类过于繁杂丰富而感到选择困难 1.3. 许多完整并可立即使用的数据技术触手可得 1.3.1. 开源代码 1.3.2. 托管开源 1.3.3.
2024-10-17 -
Apache SeaTunnel 2.3.8 版本现已正式发布！此次版本后，用户将可以使用期待已久的Docker镜像，还可以体验Job级别日志功能，以及其他更新优化的功能。本文将详细介绍 Apache SeaTunnel 2.3.8 版本中的关键更新内容，欢迎更多开发者和用户参与到我们的开源社区中来。 2.3.8版本下载： Release Note ：
2024-10-17 -
DolphinScheduler 是一款强大的开源分布式任务调度系统，广泛应用于大数据领域，用于管理复杂的工作流。本文将详细介绍如何通过 Docker Compose 安装和配置 DolphinScheduler，以便快速搭建并使用这一系统。 1. 环境准备 首先，确保你的系统已经安装了 Docker 和 Docker Compose。Docker 是一个开源容器化平台，允许开发者将应
2024-10-17 -
1. ZK集群，Hadoop集群，Hbase集群安装 Linux121 Linux122 Linux123 Hadoop ✔ ✔ ✔ MySQL ✔ ZK ✔
2024-10-17 -
1. 数据架构不是凭空设计的 1.1. 数据架构是一门抽象学科，所以它有助于通过示例进行推理 2. 数据仓库 2.1. 一个面向主题的、集成的、非易失性和时变的数据集合，以支持管理决策 2.2. 数据仓库是用于报告和分析的中央数据中心 2.2.1. 数据仓库中的数据通常针对分析用例进行了高度格式化和结构化 2.2.2. 是最古老和最完善的数据
2024-10-17 -
大家好，我是 V 哥。在实际的业务场景中， Spark任务出现OOM（Out of Memory） 问题通常是由于任务处理的数据量过大、资源分配不合理或者代码存在性能瓶颈等原因造成的。针对不同的业务场景和原因，可以从以下几个方面进行优化和解决。 一、业务场景及可能的OOM原因分析 数据量过大 ： 业务场景：处理海量数据集（例如，
2024-10-17 -
近日，Gartner发布了24年《中国数据分析及人工智能成熟度周期报告》，在成熟度曲线中声明“数据中台”已被淘汰。数据中台，这个曾被奉若圭臬，视为先进架构的标志性建筑，将就此将淡出历史舞台。 有些东西，在它真正消亡前，就已经被遗忘。 其实，早在几年前，国内技术圈已经不再热衷于数据中台概念，一位IT媒体编辑曾和我说，他们根本不考虑做数据中台主题，因为太多厂商借助这个概念贩卖各种各
2024-10-17