数据建模

数据建模（Data Modeling）是将现实世界中的业务需求、业务流程和数据关系抽象化、结构化的过程，目的是设计出高效、可用的数据库或数据系统，以支持数据的存储、管理和分析。它是数据管理、软件开发和数据分析的核心步骤之一

往期专题

一共2篇文章

专题：第1期

数据治理

数仓建模篇之数据治理方案总结

...
- 牛气冲天
- 8月5日
- 7
- 0
数据治理

小文件治理

小文件是如何产生的：日常任务及动态分区插入数据（使用的Spark2 MapReduce引擎），产生大量的小文件，从而导致Map数量剧增； Reduce数量越多，小文件也越多(Reduce的个数和输出文件是对应的) 数据源本身就包含大量的小文件，Api、Kafka等；实时数据落Hive也会产生大量小文件。小文件问题的影响：从Hive的角度看，小文件会开很多Map，一个Map开一个JVM去执行…...
- 牛气冲天
- 22年8月10日
- 22
- 0

❯

个人中心

购物车

优惠劵

今日签到

有新私信私信列表

搜索

幸运之星正在降临...

点击领取今天的签到奖励！

恭喜！您今天获得了{{mission.data.mission.credit}}积分

今日签到

连续签到

{{item.credit}}

连续{{item.count}}天

查看所有

我的优惠劵

_￥_优惠劵

使用时效：无法使用

使用时效：
之前

使用时效：永久有效

优惠劵ID：
×

限制以下商品使用：限制以下商品分类使用：不限制使用：

[{{ct.name}}]

所有商品和商品类型均可使用

没有优惠劵可用!

购物车

×

删除

购物车空空如也!

清空购物车前往结算

您有新的私信

没有新私信

写新私信查看全部