BLOB 是什么
423
2022 / 09 / 08
很多人知道数据库,但是不知道数据仓库,也不知道数据湖,后两者相当于数据库来说,是比较新颖的概念。
比较受欢迎的数据库有:MySQ、Oracle、SqlServer等,数据仓库有AWS、Hive等
那数据库和数据仓库可以用来干什么?就拿电商公司为例吧。
一阶段:属于电商公司刚刚起步的时候,有个数据库如mysql,用户能下单,产品图片再修一修,就可以开门了; 二阶段:流量开始起来了,用户也开始多了,之前的野路子就不再适用了,逐渐发现数据库支撑不住了,查询开始变得困难; 三阶段:越来越精细化,关注的问题也越来越不同,之前可能只看这个星期的gmv,pv,uv等等,现在需要查询30-40岁男性对这款剃须刀的关注和需求是怎么样的,下单停留时间是多久等等,这就意味着数据决策化;BI工具做什么的不多说了,在项目选型的时候主要考虑上手难度(考虑没技术基础的业务用),数据处理性能,其他就是技术选型的事,还有成本。
3、数据挖掘工具
OLAP是将数据多维视角呈现分析,数据挖掘则是应用的算法来揭示数据的规律性,比如相关性、模式和趋势等。数据挖掘工具就是做这个的,它能让一些算法和过程自动化。
常用的数据挖掘工具,R、Python还有SPSS,基本都是开源个人可用的。和BI和报表不同,市面上少有为客户提供定制化数据分析和挖掘的商业工具或者项目服务,因为行业性太强,需要非常熟悉业务、数据、平台,所以我见过基本都是自己养数据分析团队或者挖这类的人才。
4、应用开发
以上报表型、分析型的数据产品,但也会有延申出来的各种特定业务的数据决策系统,比如银行业基于管理层监控的的行长驾驶舱、零售业基于门店数据经营的决策系统,以及电商平台的营销参谋,都是基于这样的逻辑——基于业务深度应用。
此时数仓就是提供一个服务平台的角色,比如现在很火的数据中台也大体是这个逻辑,将数据服务化,具体不懂就不班门弄斧了。
这样的服务,当然需要自己开发。
在这三层之间其实还有中间层OLAP服务器,典型实现为ROLAP模型或MOLAP模型。现在很多成熟的BI工具都是集成了OLAP服务器的,所以通常我们只需要选择ETL工具以及存储方案和可视化BI方案即可,所以OLAP本文也就不多讲了。
发表评论
暂时没有评论,来抢沙发吧~