好像有很多大数据专业的学生都很迷茫,不知道大数据是干啥的,不知道自己学的这些东西和大数据有没有关联,大家都很笼统的把大数据归为某一个岗位,甚至觉得大数据就是数据分析.下面就是按照我自己个人现阶段了解的和大家讲一讲
我不知道大家对大数据有没有一个深刻的理解啊,反正我现在的理解是有,但是并没有那么深刻,在我现在的认知中,大数据岗位其实有细分的,就从技术岗位上来说应该分以下几种,离线数据开发,实时数据开发,数据平台开发,bi开发,大数据运维,算法工程师(也可以叫人工智能开发)大公司应该会有这些细分的岗位,因为现在数据开发基本都是数仓开发,所以也可以叫离线数仓工程师和实时数仓工程师.
给大家解释一下
首先,数据不是凭空产生的,不可能直接拿着一堆数据直接让你分析啊,也就是说数据一定要有一个加工过程,到能让别人看得懂的地步,那其实就是对数据的采集加工,也叫数据开发,其实干这个事的才是最多的,不管是离线的还是实时的都是对数据做一个加工的过程,让数据从杂乱无章变得有顺序,有逻辑,
比如说我现在开了一个游戏公司,现在有一堆注册的账号在数据库,还有各种用户的身份信息啊,账户信息啊,登陆信息啊,那我想统计一下公司的注册人数总数量,开了会员的数量,没开会员的人数据量,通过某某活动开了会员的数量,最近几天的活跃人数,等等等等,这些都是对数据的加工,我直接让你对这些原始数据(也就是一堆人家账号)能分析能分析出来什么吗,答案肯定是不能的.
那现在已经有了这些算好的指标了,能直接分析了吗?肯定也是不能的呀,因为这些数据都以我们开发人员能看的懂的形式放在了数据库或者别的地方,老板和业务人员可看不懂这些东西,这时候就需要bi工程师出马了,bi工程师用工具把这些指标汇成能看的懂的图形做页面展示,比如说把通过某某某活动开了会员的指标做成柱状图,老板一眼就能看到哪个活动玩家开的会员充的钱最多,那我下次就多搞这种类似的活动,这样不就产生效益了吗
那数据平台开发是干什么的呢,简单的理解bi工程师用来绘图的软件或者网站就是他们开发的,那人家肯定不只光干这个,更多的是开发各种有利于数据产生的软件平台工具,这个就需要编程能力比较强了
运维顾名思义,运行维护,搭建大数据平台啊,维护大数据平台正常运行啊,监控机器问题啊都属于运维,在我看来运维也运维闲的时候闲死,出问题的时候忙死,也不算是个好差事,毕竟没人愿意晚上睡觉睡的好好的突然被叫起来修电脑吧
最后总结一下,数据分析师在我眼里相当于什么呢,相当于bi,就是把这些数据弄成别人可以看得懂的,不管是用excel也好,工具也好,python也好,反正得让别人看得懂,也有人说数据分析师是要预测未来的数据,比如说通过某某活动开了会员,那我需要预测下次我开哪个活动大概会有多少人开会员,但是我觉得吧这个应该是属于算法工程师的范围了,搭建模型,然后用历史数据训练,预测未来可能的数据,总而言之,数据分析师肯定是不会给你一些大家都能看得懂的数据让你看,然后你来决策以后公司的方向,你又不是老板又不是高管,可能就让你干这么简单的活吗,这也不现实啊