数仓入门基础-5-雪花模型与星型模型
数据仓库中星型模型和雪花模型参考:理解数据仓库中星型模型和雪花模型 在数据仓库的建设中,一般都会围绕着星型模型和雪花模型来设计表关系或者结构 ...浮生若梦____阅读 659评论 0赞 ...阅读全文
数据仓库中星型模型和雪花模型参考:理解数据仓库中星型模型和雪花模型 在数据仓库的建设中,一般都会围绕着星型模型和雪花模型来设计表关系或者结构 ...浮生若梦____阅读 659评论 0赞 ...阅读全文
有时候我们需要修改 git commit 时间,可以通过下面的方法解决。修改当前本地提交的commit时间1git commit --amend --date="2019-01-01T00:00:00+0800" -am ":memo: 更新 TODO.md"修改之前提交的某次commit时间,首先通过 git log 获取提交的唯一id,然后1git commit --amend --date="2019-01-01T00:00:00+0800" -C edd2dbbe31fbab492f337628011119493a12a9c6对于之前已经提交到远程仓库的,需要再 git push 一次,即可推送到远程仓...阅读全文
 一、什么是实时数仓 实时数据仓库(Real-time Data Warehouse)是指能够实时地处理和分析数据,使得数据仓库中的数据是最新的、最准确的,并且可以实时响应用户的查询和分析需求的一种数据仓库系统。 与传统的数据仓库相比,实时数据仓库更加注重数据的实时性和对业务的实时响应能力。传统数据仓库通常是每日、每周或每月定期进行数据的抽取、转换和加载(ETL),更新的速度较慢,一般不支持实时查询和分析。而实时数据仓库则更加注重数据的实时性和对业务的实时响应能力,能够在数据发生变化时及时响应用户的查询和分析需求。 二、安装...阅读全文
本文分享自天翼云开发者社区《创建本地yum仓库》,作者: zzzzgj;背景有的部署环境不通外网,但希望继续使用yum命令下载依赖包而不修改部署脚本逻辑。因此记录一个本地repo的建立方法。1、获取依赖包# 如在通网的机器上下载openssl-devel所有依赖yumdownloader --resolve --alldeps openssl-devel2、创建仓库创建一个(本地)存储库并用yum它来解决您的依赖关系。CentOS wiki提供了一个如何做到这一点。CentOS wiki HowTos / CreateLocalRepos。简要操作如下:1.为本地存储库创建一个目录,例如/home/teledb/repo。2.将RPM放置到该目录中:cd /home/teledb/repoy...阅读全文
大数据生态圈/Hadoop/Spark/Flink/数据仓库/实时分析/推荐系统获课:789it点top/2505/获取ZY↑↑方打开链接↑↑大数据生态圈:构建智能时代的基石在数字化浪潮汹涌的今天,大数据已成为推动各行各业变革的重要力量。大数据生态圈,作为这一变革的核心驱动力,汇聚了Hadoop、Spark、Flink、数据仓库、实时分析以及推荐系统等一系列关键技术,共同构建了一个高效、智能的数据处理与分析体系。本文将深入探讨这些技术如何协同工作,为企业带来前所未有的数据洞察力和业务价值。Hadoop:大数据处理的基石Hadoop,作为大数据领域的基石,为海量数据的存储和处理提供了强大的分布式基础架构。其核心组件HDFS(Hadoop Distributed File System)通过分布...阅读全文
2023升级版-Spark+ClickHouse实战企业级数据仓库,进军大厂必备获课地址:jzit.top/819/Spark+ClickHouse实战企业级数据仓库引用Apache Spark和ClickHouse是构建企业级数据仓库的强大工具。Spark用于大规模数据处理,而ClickHouse是一个列式数据库管理系统,适用于在线分析处理(OLAP)场景。以下是使用Spark和ClickHouse实战企业级数据仓库的步骤:1. 需求分析与设计需求收集:与业务团队沟通,了解数据仓库的需求,包括数据源、报表需求、查询性能等。数据模型设计:设计星型模式或雪花模式的模型,以适应ClickHouse的列式存储。2. 环境准备硬件资源:确保有足够的计算和存储资源来部署Spark集群和ClickHou...阅读全文