大数据是眼下非常时髦的技术名词,随着大数据产业链的不断完善以及大数据本身价值在被不断地开发,数据方面的岗位不论在哪都有巨大的用人需求。根据澳洲最大的求职网站Seek统计,即使在疫情期间,Data Engineer仍然有4000+的职位虚位以待。作为一个高技术、高需求的新行业,数据工程师在澳洲的平均工资甚至达到了120k+。
什么是数据工程?
数据工程是指面向不同计算平台和应用环境,使用信息系统设计,开发和评价的工程化技术和方法,一般被广泛应用于数据的传输,转换和储存。像如何高效存储海量的数据,利用实时数据反馈用户状况,以及利用机器学习来实现精准推荐等都是数据工程所研究的方向。
什么是数据工程师?
数据工程师在大数据时代或者被称为数据架构师更准确,工作的重点更偏向于数据架构,计算,数据存储,数据流,数据库设计等方向。因此数据工程师会对编程要求更高一点。
数据工程师的工作内容
数据工程师 DE vs 数据分析师 DA vs 数据科学家 DS
数据分析师主要是负责收集处理数据以及对数据进行可视化展示,而数据工程师更多负责搭建数据结构,以及大量使用云技术与 DevOps 合作进行云端环境的搭建。数据科学家则对更注重于数据模型,机器学习以及数据挖掘等方面。
为什么要学数据工程?
薪资高
在澳年薪平均11万到15万澳币左右,远高于大部分行业。
前景好
新型职业,大量大数据项目激增,需求旺盛
机会多
大数据时代,产业需要大量数据驱动,需要大量数据工程师人才
就业容易
无论澳洲和中国,由于大学没有完备的培养机制,通过培训的DE会受青睐
工作稳定
数据需长期维护,数据工程师流动性不大,高薪且稳定
Data Engineer工作流程
讲者介绍:
Yuchen,擅长云端数据解决方案,精通Azure和Databricks平台。他目前在Compare The Market担任Senior Data Engineer,成功设计并实现了支持业务智能和数据科学团队的端到端ETL管道和Medallion架构。他的跨行业经验涵盖医疗健康、能源等领域,领导过多个数据迁移和API集成项目。
Yuchen拥有澳大利亚国立大学应用数据分析硕士学位,并持有多项数据工程和云平台的专业认证。
讲座内容:
Data行业的不同Role和分工
Data Analyst, Data Engineer, Data Scientist, Modeller, ArchitectData Engineer的工作流程
etl;etl之后的处理方法;如何处理datawarehouse?如何处理datalake?spark;Data的cloud流程
讲座时间:11月11日(周一),悉尼时间8:00-9:00pm
讲座地点:Online
🙋报名方式
立即报名!扫描下方二维码。
❗️名额有限,快来报名❗️