大数据工程师的工作就是挖掘、分析、处理数据,挖掘客户、提供各种各样的数据服务,优化公司的数据产品体验,等等,通过各种分析手段对公司的数据进行分析,对公司的各项数据进行分析,发现公司的一些问题和优化计划,制定公司网络的网络标准化。
1.大数据工程师工作内容
1、负责公司大数据接入平台,例如管理ZooKeeper、ETL组件等,Kafka、Redis、HDFS、MapReduce、Hive等,协助维护、开发能够持续的工具和技术人员实现持续的自动化运维。2、熟悉机器学习算法的原理和设计原理,熟悉高可用、高性能、可扩展的资源配置,如文本挖掘、图像识别、特征提取、情感分析、信用评估等。3、负责对业务系统的整体规划、设计和维护;以及制定高级报表的实施,架设和性能优化,以指导公司的整体解决方案。4、负责整个组织的技术架构,如Flume、Kafka、Spark、ElasticSearch,或iBFT等。5、在公司的工作职责:独立完成对业务系统的整体架构设计,如ElasticSearch,或iSearch、BASE,OSS企业级或DB2/Python,CI/Scala,Python,Erlang,Kotlinux等;熟悉消息中间件,如Activry,RabbitMQ/Kafka等;数据库系统,需要关注,开源非关系数据库,如MongoDB,PostgreSQL,Python等;分析平台的设计,需要重点关注，有Maven和Kafka,消息中间件,需要重点关注;高可用性,平台模块,如Activiti,FastDFS等;以上均会中涉及到的点;图形库,图形库,AI等;人工智能,AI,AI,ROML,ECMA,CrPP, WEB,AI等
2.大数据工程师掌握内容
有了锦上添花的经验,如数据模型,流型计算,TimeIQ,Tiny 等;更多是一些高级开发,建筑类开发,可谓是高级开发,持续集成,敏捷开发,质量管理,成本管理等。这些都是高级开发,目前在国内开发也都是在标配了解的。学习数据分析和人工智能之后,要具备使用数据可视化工具,如Pytorch,Spark,MLlib等;数据库原理,SQL语言,SQL语言,还有很多深度学习的东西。如T-SQL,NoSQL,PostgreSQL,DB2等;分析,建模语言,Python实现,Spark,Ruby,JavaSpark,Python,MlibMeans等。