ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
etl包括大数据岗位中的离线数据开发,现在公司招聘写着etl开发,里面具体内容有hadoop那就一定是离线数据仓库开发.大概体的工作就是写sql或者脚本,然后建好调度任务,让他定时跑,很少设计到编程,也就是写代码
大概的学习路线就是linux->mysql/oracle->hadoop->hive,然后就是各种小工具,比如说抽数的kettle,datax,sqoop
调度任务的oozie,azkaban啊,这两个调度工具挺老了,现在最新的技术有dolphinscheduler,这种可视化的调度平台用起来比较舒服,不懂调度的意思只能自己学到这才能理解了
实时开发,基本都是写代码,我现在接触多的都是从数据线先放到消息中间件(kafka,rabbitmq,rocketmq,现在就这三大主流中间件,不懂的可以百度),然后从消息中间件取数后在代码中处理,用spark还是flink处理一般是看公司需求,然后根据业务需求放到hbase,clickhouse或者mysql,oracle等等,所以实时开发肯定比离线更难,离线开发的那一套你也得会
大概的学习路线就是离线开发那些肯定要的然后就是java,scala,kafka,hbase,spark,flink
最简单的我感觉应该就是bi了,只要会用简单的数据库和bi工具就行了,bi工具一般都有永洪啊,帆软啊,smartBI等等,这个学起来上手特别简单,在页面上拖拖拽拽就搞定了

面试造火箭,进去拧螺丝懂得都懂,大家不用担心进去之后完全不会怎么办,又不是让你凭空造数据,一般都会有产品经理或者业务人员把需求梳理好了给你,比如说需要哪些指标,怎么计算得来,这些指标在哪个数据库的哪些表里面能取到,最后要放到个数据库的哪张表,然后调度任务几点要开始,这些人家都会和你说明白的,不会像你想的那样,我想要全国人叫'山哥哥'的家庭住址,身份信息统计,你给我拿来,这不扯淡吗,数据我都没有,我去哪给你统计

小公司就是小公司,没有完整的规范管理制度,一会这个让你查一下,那个让你改一下,总是有改这个很快又不占用很多时间的想法,,殊不知打断开发人员思路是最致命的,明明在做另一件事,想的差不多了,然后又搞下别的,回来可能又得重新从头开始理,
技术也是乱七八糟的,一会用spark,一会用flink,一会又是java,一会又是storm,一会写到hbase,一会写到hive,一会又是写到mysql,本来不是你写的,但是出问题了要改就让你改
无语了,别人开发估计都要两三个星期,让我改怎么可能那么快啊,我还要读读逻辑,而且每个人写法还都不一样,代码也没有注释,没注释就算了,还给封装起来了,一层层的调
最关键的是我也不会这么多技术啊,然后就是让你学习研究一下,也不给时间,测试环境也没有
任务分配也不合理,一个项目就TM的一个开发,但是有两个产品,两个项目经理,分别对接不同部门的人,需求还都很着急,也不给你排期,就有点像老师布置作业,每个老师都觉得自己布置的不多
我一个人又不能并发,最烦的就是我自己排好顺序了,先做这个,做完了后做别的,结果呢,中间又冒出一堆改的需求,可能又来个特别紧急的需求,然后让你做或者让你改,或者是有什么特殊的情况必须要花时间解决的,又乱了时间
然后项目也坑,报表系统用存储过程做,存储过程做好歹也用oracle的存储过程吧,no,用的mysql的,没办法控制权限,各种乱调,各种锁表
头都大,坑越来越多了,现在只想赶紧跑路,让接手的人头疼去吧

开工大吉,虎虎生威

关于总是有人问免费培训的事，都写在这里面了，自己看吧

小区被隔离拉，今天都第七天了，今天准备做第四次核酸，上海还是蛮严重的，准备跑路的，结果又被推迟了唉，朋友一直问我什么时候辞职，下一站有可能去杭州吧

天天嘴巴上讲着要跑路，却没有一点行动表示，***，真想给自己一巴掌

复工了，又要去公司了，在家呆习惯了都不想出门了

弄了个交流群,有需要的可以加一下吧,以后什么学习资料就放群里面吧

我刚来这个公司的时候还没有还没有多少人，现在发展的人越来越多了，认识的几个比我早入职的也都走的差不多了，带我的项目经理奋战到了别的项目，不过听说他月底也要离职了，颇有一种凄切的感觉

群里面聊起来了培训机构的事,那就说说自己的看法吧,我自己其实不是很抵触培训机构,因为自己也是作为一名转行人,我知道学习一门新技术中间其实并不是只有学习这么简单的一件事,还有很多身体精神方面的
不敢说多,转行到it这个行业来的,百分之90都是靠培训机构输送来的,自己能自学转行的人其实蛮少的,就像群里面那个兄弟说的一样自己看视频学习没正反馈，没人交流,确实会越来越难学下去,像我的话我本来自制力也不好,可能视频都看不下去,学一会我至少得玩半天.
现在网上的资料其实已经很齐全了,都是培训机构线下学习的那些视频,其实如果你有自制力,完全可以不用花那个钱去培训,我是比较建议在校的大学生,还有上班有充足时间的人自己学习的,试错成本比较低,当然怎么样还是得结合自身情况来,如果你家庭条件还可以,父母又比较支持,自己也确实积极向上想入行,那么花点钱去培训机构上课有何不可呢,线上的课程我就觉得完全没必要了,线上真就不如自己看视频了,有些本来就是提前录制好的视频放给你们看罢了.
最后如果你铁了心要去培训,那么你得考虑下自己能不能接受几个后果,培训机构无论是大小,不能说全都虚假宣传,一定都是夸大宣传,如果你是冲着他宣传说的高薪,好就业甚至包就业去的,那么我觉得你最好还是不要去了,可能会有那么几个特例拿到很高的薪水,至于包就业那是不可能的,那我就是不学坐在那拿什么给我包就业,所以你还是要看自己对这行了解多少,是不是真的很感兴趣,能不能接受到即使我学完了工资不会很高,毕竟是刚培训出来的,甚至是很难找到工作,还有就是自己万一学不会怎么办,一定要考虑清楚了再决定去不去
当然获取父母支持也是蛮重要的,偷偷背着父母去贷款学压力也是很大的,成年人的世界其实都是蛮不容易的,如果不是混的不好谁愿意转行呢,转行本来就背负着压力了,压力一旦太大容易精神崩溃的,所以做什么最好和家里人商量一下,获得支持最好,如果不行,那么就靠自己毅力拿出空闲时间自学吧,学习资料都有的,一万句话总结一句话,努力最重要

兄弟们加餐加餐了,老板又给涨了2k的工资,说实话这个公司虽然小了点,但是老板人还是挺好的,刚进来是包装3年,但是实际那会我刚毕业两年,当时给了13k,干了一年多也就是去年8月份左右的时候调了一次薪资,那会给加了2k5,今年琢磨着可能不会加了,没想到上个星期老板正好来这个项目有事,然后顺便又找我谈了下说给我再加点,我以为可能就加个1k,没想到是2k,这下吃泡面不得多加一根肠了,正好遇到最近行情也不太好,run的事暂时放一放,项目最近也是来了两个新人,等他们学得差不了项目如果出了问题能解决了在run吧,这样也算对的起老板了,先继续潇洒一阵子

国庆七天过完了,在家躺了七天,简单的过了一遍python,个人觉得python的语法有点不严谨,例如定义变量竟然不需要加类型,所以学起来也简单,确实蛮适合新手的,但是学完这个后再去学java可能就比较痛苦了,所以还是建议新手如果想入开发这一行的话还是先学java,然后再去学python,像我过java基础就花了大概几个小时就过完了,因为大部分知识点在java中已经学完了,只不过是学习下python的语法和一些东西的定义,如果是别的行业或者是业余爱好者直接学python就好了,个人觉得写起来还蛮方便的,我like上了这个gui,准备用这个python开发个简单的gui应用给我们那些不懂开发的经理用用,省的每次一点点小事都得叫我去弄一下