Flink 社区风波：比 Flink 快十倍的技术真存在吗？

[db:作者]

作者 | Tina近期，创业公司 RisingWave Labs 发布了开源分布式流处理 SQL 数据库 RisingWave 的 1.0 版本，并同时发布了该数据库的性能报告预览版，宣称他们已经取得了相比于 Flink 十倍的性能提升。RisingWave 声称在简单无状态计算中比 Flink 实现性能提升 10-30%，在复杂有状态计算中比 Flink 实现性能提升 10-100 倍。其实现巨大性能提升的原因是：抛弃了 JVM 语言，使用了 Rust 高性能编程语言；抛弃了类似 MapReduce 式的中间抽象层，直接对数据库算子进行深度优化；存储感知计算，使用更好的存储结构便于计算加速。上周，阿里 Flink 团队部分成员发表文章质疑了该性能评测报告，认为 RisingWave 的评测报告非常具有误导性。阿里 Flink 团队成员也自己进行了一次性能测试，在更正了 Flink 参数设置的条件下，得出结果为：“RisingWave 有两成的 query 无法支持，在性能上 Flink 全面大幅领先 RisingWave，整体性能快 60%，部分 stateful query 有 20 倍的性能优势。”也就是说，RisingWave 没有达到比 Flink 快 10 倍的性能提升，他们认为该公司的行为涉嫌“虚假营销”。今天，RisingWave指出，两份报告的结果差异是由环境差异造成：在 Flink 团队成员的测试环境中，“Flink 使用了三倍于我们测试环境的 CPU，六倍于我们测试环境的内存。同时我们的测试中，我们为 Flink 配置了 EBS，他们使用了性能更高的 local NVMe，而 RisingWave 在这个测试中不依赖文件系统。”那业界到底存在不存在比 Flink 快 10 倍的技术？RisingWave创始人吴英骏指出，其实早在3年前，Flink 的原创团队 TU Berlin 数据库组便抛弃 Flink 从头开发了新一代流处理引擎 NebulaStream，并实现了 10-100 倍的提升（论文：https://nebula.stream/paper/zeuch_cidr20.pdf）。