计算引擎研发工程师/架构师-基础架构
北京
研发 - 基础架构
职位 ID:9KPV
职位描述
团队介绍:批式计算团队负责字节跳动离线数据处理&分布式训练,支撑公司内离线ETL&机器学习等业务场景,涉及的组件包括离线计算引擎Spark/自研分布式训练框架Primus/特征存储Feature Store(如Iceberg/Hudi)/Ray等。面对字节超大规模的场景,在Spark/Primus/Feature Store等方面都做了大量的功能&性能优化,同时支持新一代分布式应用框架Ray在公司相关场景的落地。 1、负责Ray内核研发&基础设施建设,如GCS HA/资源隔离/K8S等; 2、深入理解业务,支持内部Ray的业务场景,包括图学习/机器学习训练等。
职位要求
1、具备扎实的计算机基础和数据结构与算法功底; 2、精通C++编程语言; 3、具备大规模分布式系统的研发和优化能力; 4、具有独立解决问题的能力,良好的团队合作精神。 加分项: 1、对Ray有深入研究或者实践经验; 2、对Hadoop MapReduce/Spark/Flink等开源计算框架有深入研究或有实践经验; 3、对TensorFlow/PyTorch/MXNet等开源深度学习框架有深入研究或有实践经验。