|
|
| |
| |
软件工程师 点击:10次
工作编号:1257945
|
/月 |
|
海尔集团公司 查看企业资料及职位
|
2025-8-13 |
| 青岛市- 3年以上经验 | 本科及以上 | 招1人 | |
|
| |
职位描述 用小程序查看更多 |
|
职责描述
1.数据平台开发与维护：负责企业级数据平台的搭建与优化，包括数据采集、存储、计算、调度等核心模块（如基于Hadoop / Spark / Flink 构建离线＆实时数仓）；开发维护数据工具链（如数据同步工具、元数据管理系统、任务监控平台），提升数据开发效率。
2.数据管道设计与开发：设计高可靠的数据 ETL 流程，处理结构化／非结构化数据（日志、 IoT 设备数据等），保障数据质量与时效性；优化海量数据计算性能（资源调度、 Shuffle 优化、存储压缩），降低集群成本。
3.数据建模与治理：基于业务场景设计数据分层模型（ ODS / DWD / DWS / ADS )，制定数据标准与规范；参与数据血缘追踪、数据质量监控（如空值率、一致性校验）等治理体系建设。
4.实时计算与流处理：开发实时数据管道（如 Kafka + Flink 实时看板），支持业务实时决策；解决流处理中的乱序、窗口计算、状态管理等技术难题。
5.数据服务化：构建数据 API 服务，支持 BI 、算法等下游系统高效访问数据；开发数据权限控制模块，实现行列级数据安全管控。
6.技术研究与落地：跟踪大数据领域新技术（如 Iceberg / Hudi 存算分离、湖仓一体），推动技术升级。
任职要求
1.教育背景：本科及以上学历，计算机、数学、统计学相关专业优先；
2.技术能力：精通 Java / Scala / Python 至少一门语言，熟悉多线程、分布式系统设计原理；熟练使用大数据生态技术栈：计算引擎： Spark / Flink / Hive；存储组件： HDFS / HBase / Kudu / ClickHouse；消息队列： Kafka / Pulsar；资源调度： YARN / Kubernetes；熟悉数据建模方法论（ Kimball / Inmon )，具备SQL 调优经验；
3.经验要求：5年以上大数据开发经验，主导过至少一个模块（如实时计算平台、数据治理系统）的设计与落地；有 PB 级数据处理、高并发数据服务开发经验者优先；
|
|
| |
|
|
| |
|
