架构师(spark方向)是什么职位
发布网友
发布时间：2022-04-23 06:18
共1个回答
热心网友
时间：2023-10-04 13:08
大数据架构师，最起码要熟悉Hadoop、 Spark 、Storm等等主流大数据平台的核心框架，而且要深入掌握如何编写MapRece、Yarn、 HBase、 Hive、 pig 等等重要组件，能够实现对平台的监控。辅助运维护系统的开发。
需要对面向过程，面向对象，面向服务等设计理念要有深刻的理解，可以做到快速的察觉出现实中的问题并提出相应的改进方案。
spark方面需要：
精通Spark Streaming，对Spark有源码修改能力；
精通Spark性能调优，打造高可伸缩的数据处理程序；
精通Spark监控，包括任务和系统级别...
