Windmill:快速自托管的开源工作流引擎 比Airflow快10倍!
要点:
Windmill经过基准测试,被证明是最快速的自托管通用工作流引擎,比Airflow、Prefect甚至Temporal都快,最高可达10倍速度提升。
Windmill的速度得益于其简单的设计、优化的系统架构以及对Postgresql和Rust的充分利用。
与其他自托管工作流引擎相比,Windmill具有更广泛的语言支持(Typescript/Javascript、Python、Go、Bash和直接SQL查询),并提供易于使用的开发体验。
Windmill是一款快速的自托管开源工作流引擎,经过基准测试证明在速度上超越了Airflow、Prefect甚至Temporal,最高可达10倍的性能提升。这一成就得益于Windmill的系统设计和架构,以及对Postgresql和Rust的充分利用。相较于其他自托管工作流引擎,Windmill的语言支持更广泛,包括Typescript/Javascript、Python、Go、Bash以及直接的SQL查询。此外,Windmill提供了与其他引擎不同的开发体验,通过集成的开发环境,使得工作流的构建和测试变得简单快捷。

项目地址:https://github.com/windmill-labs/windmill
Windmill在工作流引擎中的高效性体现在三个方面:计算过渡的效率、数据传递的效率和工作节点的效率。在计算过渡方面,Windmill使用了简单而优化的设计,充分利用Postgresql和Rust,通过直接的Postgresql语句实现状态转换,实现了高效的计算过渡。数据传递方面,Windmill提供了三种主要的数据传递方式,包括通过Javascript表达式、预计算输入和通过s3进行数据传递。工作节点的效率得益于Windmill的简单设计和优化的系统架构,使其能够在非容器化的情况下运行,避免了容器带来的性能开销。

Windmill的快速性不仅体现在计算过渡和数据传递方面,还表现在工作节点的高效性上。普通模式下,Windmill的工作节点按顺序处理每个作业,根据作业的语言类型(Python、Typescript、Go、Bash等)启动相应的运行时,并运行作业。此外,Windmill引入了专门的工作节点,专门用于处理脚本和流程,通过预热进程的方式消除了冷启动的开销,使得Windmill在处理高频率作业时表现出色,每秒可处理1000个步骤。
综合来看,Windmill之所以成为最快速的自托管通用工作流引擎,既得益于其系统设计和架构,又得益于对Postgresql和Rust的充分利用。Windmill通过简单而高效的设计,在计算过渡、数据传递和工作节点的各个方面实现了优化,为用户提供了卓越的性能和开发体验。
百度发布AI原生应用“橙篇”APP 支持超长内容理解生成
站长之家(ChinaZ.com)5月30日消息:5月30日,百度在2024移动生态万象大会上正式推出了AI原生应用——“橙篇”。“橙篇”不仅让用户能够轻松应对超大、多格式、长内容的文件挑战,进行深度理解、精准总结和即时问答,更以其超长篇幅的长文生成、深度编辑和多模态自由创作能力,极大地丰富了用户的内容创作手段。站长网2024-05-30 21:23:420000苹果员工购买头显可享75折 可省下约6296元
苹果公司为员工提供了一个优惠,购买混合现实头显VisionPro可以享受25%的折扣。苹果公司之前已经宣布,这款新一代的头显将在2月2日正式发售,价格为3499美元(折合人民币约25179元),这样一来,苹果员工买一台VisionPro可以省下大约875美元(折合人民币约6296元)。站长网2024-01-19 08:40:340000眼馋GPTs的人有福了,我们找到了一款不用花钱的平替
AI能替我完成工作吗?在研究AI的过程中,这个问题时常出现在我的脑海。比如关注我们的朋友应该知道,“头号AI玩家”有一个每日更新AI行业资讯的栏目「AI日报」,平时,我们的同事会轮流搜集信息进行整理编辑。这样的内容,可以让AI来帮我们完成吗?我试着用Poe做了一个新闻快讯AI机器人,来测试这一想法的可行性(至于Poe是个什么产品,我会在后文会进行解释)。站长网2023-11-13 21:47:380009售价5499元起!华为Mate70系列正式发布:首发全球首发卫星寻呼
华为在今日下午的发布会上正式推出了Mate70系列智能手机,华为常务董事余承东在活动中强调了该系列手机在设计和技术上的重大突破,称之为“史上最强Mate”。00004个月狂揽两千万,国内首个披露营收的大模型来了!
【新智元导读】稳居国内第一梯队的360智脑,已经开始赚钱了!根据360的2023年半年报,360智脑已创造近2000万元相关业务收入,成为国内首个披露实现营收的大模型产品。年初打得如火如荼的「百模大战」,终于有了阶段性的战果。站长网2023-09-01 17:12:030000