流式计算研发工程师/架构师
杭州
研发 - 基础架构
职位 ID:RL8F1
职位描述
团队简介:流式计算团队负责公司内部流式计算应用场景, 支撑了AML/推荐/数仓/搜索/广告/流媒体/安全和风控等众多核心业务。当前流式计算主要以 Flink 计算引擎为主,面临的挑战是超大单体作业(千万级别 QPS),超大集群规模(上万台机器)的应用场景,在 SQL, State&Checkpoint, Runtime 都有深度优化。 1、构建高效,实时,稳定的流式计算引擎,支撑字节跳动公司内数多个产品线的推荐和广告业务; 2、构建高性能,高易用的 SQL 引擎,支撑特殊场景 SQL 语法,优化 Streaming SQL 任务性能; 3、构建基于 SQL 的批流统一计算引擎,支撑部分核心业务实时/离线统一的应用场景; 4、构建稳定高效的全图离线计算引擎,支撑上万亿边的超大规模图应用场景; 5、探索流式计算在新兴硬件,实时数仓,机器学习,图计算,准实时交互式查询等技术解决方案。
职位要求
1、自认为是技术Geek,具备很强的问题解决能力; 2、精通Java/C++/Go等编程语言之一或多个; 3、具备扎实的计算机理论基础, 对数据结构及算法有较强的功底; 4、具备并行计算或者分布式计算原理,熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案; 5、对开源计算框架 Flink/Calcite/Storm/Kafka/Yarn/Hive/Spark/Kubernetes 有一项或多项深入研究和相关经验者优先; 6、对机器学习, 图计算,OLAP 有深入研究和经验者优先。