就在今天!一小时免费讲座带你认识Data行业的不同Role和分工,了解职业Data Engineer的工作流程

教育   2024-11-11 10:29   德国  

大数据是眼下非常时髦的技术名词,随着大数据产业链的不断完善以及大数据本身价值在被不断地开发,数据方面的岗位不论在哪都有巨大的用人需求。根据澳洲最大的求职网站Seek统计,即使在疫情期间,Data Engineer仍然有4000+的职位虚位以待。作为一个高技术、高需求的新行业,数据工程师在澳洲的平均工资甚至达到了120k+。





什么是数据工程?



数据工程是指面向不同计算平台和应用环境,使用信息系统设计,开发和评价的工程化技术和方法,一般被广泛应用于数据的传输,转换和储存。像如何高效存储海量的数据,利用实时数据反馈用户状况,以及利用机器学习来实现精准推荐等都是数据工程所研究的方向。

什么是数据工程师?

数据工程师在大数据时代或者被称为数据架构师更准确,工作的重点更偏向于数据架构,计算,数据存储,数据流,数据库设计等方向。因此数据工程师会对编程要求更高一点

  • 数据工程师的工作内容

数据工程师就像餐厅的主厨一样,为了给大家呈现精美的菜肴,首先需要进货,购买一些蔬菜和鸡鸭鱼肉,而这些原始食材就相当于source data一样。

当通过不同的方式得到原数据后,DE需要通过各种方式处理好这些数据,就类似厨师需要给鱼刮刮鳞,鸡要去毛,肉要腌制等;初步处理完毕后,还要把各种食材切成不同的形状,所有这些食物材料的处理,就相当于data transformation和data cleansing

食材处理完毕后,需要烹饪成菜肴,比如说有些菜需要蒸,有些菜需要炸,那么厨师就会以相应的方式去烹饪这道菜,这就类似于数据工程中有时候需要处理好的数据以dashboard的形式去展现出,有时候需要用处理好的数据去训练ML的model

有些时候,处理好的数据不需要立刻做成菜肴,那么厨师就会把这些食材放进冰箱,这就相当于数据工程中的data backup操作 - 把处理好的数据先backup到某个地方,之后有product需要这些处理好的数据时,再拿出来用。

从原食材到最终呈现给顾客的这整个过程,就相当于把源数据变为数据产品的整个过程。作为主厨,还需要通过不同的方式,去收集食客的反馈,才可以改进菜肴的味道,这相当于在数据工程中,收集用户的反馈,并根据反馈来改进各个环节的数据操作。

数据工程师 DE vs 数据分析师 DA vs 数据科学家 DS



数据分析师主要是负责收集处理数据以及对数据进行可视化展示,而数据工程师更多负责搭建数据结构,以及大量使用云技术与 DevOps 合作进行云端环境的搭建。数据科学家则对更注重于数据模型,机器学习以及数据挖掘等方面。


为什么要学数据工程?


薪资高
在澳年薪平均
11万到15万澳币左右,远高于大部分行业。
前景好
新型职业,大量大数据项目激增,需求旺盛
机会多
大数据时代,
产业需要大量数据驱动,需要大量数据工程师人才
就业容易
无论澳洲和中国,由于大学没有完备的培养机制,
通过培训的DE会受青睐
工作稳定
数据需长期维护,数据工程师
流动性不大,高薪且稳定




Data Engineer工作流程





讲者介绍:
Yuchen,擅长云端数据解决方案,精通Azure和Databricks平台。他目前在Compare The Market担任Senior Data Engineer,成功设计并实现了支持业务智能和数据科学团队的端到端ETL管道和Medallion架构。他的跨行业经验涵盖医疗健康、能源等领域,领导过多个数据迁移和API集成项目。

Yuchen拥有澳大利亚国立大学应用数据分析硕士学位,并持有多项数据工程和云平台的专业认证。


讲座内容:

  • Data行业的不同Role和分工
    Data Analyst, Data Engineer, Data Scientist, Modeller, Architect

  • Data Engineer的工作流程
    etl;etl之后的处理方法;如何处理datawarehouse?如何处理datalake?spark;Data的cloud流程


讲座时间:11月11日(周一),悉尼时间8:00-9:00pm
讲座地点:Online


🙋报名方式

立即报名!扫描下方二维码。

❗️名额有限,快来报名❗️





澳洲IT圈
澳洲IT圈为广大澳洲IT以及关心澳洲的朋友们提供专业的工作内推、工作机会,拥有澳洲领先的IT社群,超过10000的成员
 最新文章