今天 , StreamX 很高興的宣佈 1.2.2 版本正式釋出。本次是 2022 開年之初發布的第一個正式版本, 修復已知歷史 bug, 支援 Flink 所有部署模式，提升易用性和穩定性。2022 新年伊始, 春日正盛, 一片欣欣向榮之景象! 眾多企業也在摩拳擦掌, 規劃藍圖, 準備大幹一場! 此時 StreamX 帶來 穩定版本, 助力大家放心的上生產環境, 願為大家在流處理領域帶來一點方便, 為 Apache Flink 的落地和普及助一臂之力!
專案地址:
Gitee: https://gitee.com/streamxhub/streamx
Github:
新增功能
本次新增 remote, yarn-session 部署模式, 到此 StreamX 已經完整的支援 Flink 所有部署模式(remote、yarn-perjob、yarn-session、yarn-application、 k8s-native-session、k8s-native-application ) 滿足使用者各種場景下的部署需求。 此外, 本次統一了程式打包pipeline, 簡化了構建流程, 減少使用者的學習成本, 使用起來更簡單。新增功能明細如下:
- 新增 Remote 部署模式
- 新增 Yarn-session 部署模式
- 新增 Yarn-perjob 部署模式
- 統一專案構建上線流程
- 新增 Apache Doris datastream connector
- 新增 Redis datastream connector
- 新增 Flink Cluster叢集管理
- 內建 maven 不強制要求部署機安裝 maven
- maven 支援設定遠端倉庫地址, 加速依賴下載
- 專案構建時支援指定 maven 構建引數
[ StreamX 打包構建流程 ]
修復增強
- on Yarn 模式下在 hadoop 某些版本存在的任務提交失敗的 bug
- Flink Sql 新增依賴時檢查到不匹配 scala 版本未能阻止新增的bug
- Flink Sql 格式化存在的 bug
- 在 Flink 某些版本下關閉 packageProgram導致的 bug
- 任務編輯和新增切換Flink 部署模式導致頁面錯亂的 bug
- 任務在啟動和停止時加入超時, 時間內未成功狀態設定為失敗
感謝貢獻者
StreamX 的發展離不開社群的 Contributor 們的付出的積極努力, 很多開發者下班後忙碌到凌晨一兩點, 週六日無休, 非常感謝貢獻者們在測試和開發中做出的努力! 以下為 Contributor 名單, 排名不分先後:
Al-assad, czy006, daixiaoyu, honghaoli9898, JNSimba, lvshaokang, monrg, SoberChina, wolfboys, Whojohn, wysstartgo,xinzhuxiansheng,Zclhlmgqzc, zhangjun0x01
以夢為馬
在 StreamX 1.2.2 釋出之際, 也快迎來 StreamX 開源一週年, 我們收到了一些使用者的心聲和大佬的寄語, 各位的勉勵會時刻鞭策著我們, 努力做得更好!
寄語
StreamX 社群一直以來都在用心做好流批一體一站式巨量資料平臺，並有著非常多比如 Web IDE、CI/CD、on k8s 等關鍵能力，強烈推薦大家使用！也歡迎更多貢獻者加入，一起把 StreamX 社群發展的更加繁榮！
白鯨開源聯合創始人 & Apache DolphinScheduler PMC Chair & Apache SeaTunnel PPMC & Mentor Apache 孵化器導師 & ASF Mentor 代立冬
從基礎軟體核心到使用者側解決方案，往往需要在使用者體驗上傾注大量的時間和精力，StreamX 正是為 Flink 和 Spark 應用量身客製化的一個使用者友好的控制平臺。很高興看到 StreamX 專案新版釋出，期待 StreamX 在應用部署和管理方面的經驗反饋到上游 Flink / Spark 社群，開源協同，把流批一體的資料處理能力帶到更多的企業當中。
— Apache Flink Committer & Apache Curator PMC & ASF Member & <<夜天之書>>作者 & 2021中國開源先鋒33人 tison
在 StreamX 剛起步的時候就關注到了這個專案，見證了專案的一步步發展, 現在已經擁有一個活躍的開源社群，眾多企業使用，已有頭部IT教育機構的納入課程，StreamX 為企業和開發者提供了標準化了設定、開發、測試、部署、監控、運維的全流程管理工具。大大提高了開發效率及降低成本，推薦更多的使用者去使用StreamX，同時也希望大家積極的參與到StreamX中來，共建繁榮開源社群。
— Apache Doris PPMC 張家鋒
StreamX 作為一個開源的資料處理平臺，使資料處理變的更加容易，更好閉環了資料的開發與任務管理的環節，每次發版都越來越靠近他的終極目標：一站式資料處理平臺。
— Apache SeaTunnel PPMC Gary
使用者代表
StreamX 是一款非常優秀的 Flink&Spark 極速開發框架與一站式巨量資料流處理平臺。開發者在使用StreamX時只需編寫簡單的組態檔，即可實現多個開箱即用功能的複用；通過簡潔易用的Web頁面，即可實現開發任務的編譯、部署與管理監控。該框架一經問世便深受廣大開發者的喜愛。目前，StreamX 的社群活躍度高，經過多個版本的更新迭代，已有較高的易用性和完成度。
StreamX 能讓開發者減少重複程式碼，把精力更多集中於業務本身，讓巨量資料流處理變得更加便捷！這也與尚矽谷教育「讓天下沒有難學的技術」的理念不謀而合。尚矽谷也本著非精品不用的原則，與 StreamX 主創團隊達成合作，為 StreamX 提供高品質的使用教學與視訊等配套資料！
強烈推薦各位巨量資料開發者學習並使用 StreamX，它將大大提高您的開發效率。也預祝 StreamX 發展越來越好！
— 尚矽谷教育 巨量資料負責人 繆傳海
StreamX優雅的程式設計框架、簡單易用的WebIDE，沉澱了主創團隊在 Flink&Spark 技術領域豐富的經驗以及獨到的平臺觀。數鑫科技在流批一體開源程式設計平臺技術選型過程中，關注到 StreamX 在程式設計模型的高度抽象性、可延伸性、可設定性等方面設計的非常出色，因此毫不猶豫的選擇 StreamX 作為自身可信資料流通引擎資料消費端配套的流批一體程式設計框架。相信: StreamX 一定會被越來越多的流批一體開發者深度關注和使用，無論是希望快速開發 Flink 資料加工處理邏輯的初學者、還是資深的平臺架構師。StreamX 將會深刻的影響 Flink 開源社群。
— 深圳數鑫科技 CTO 廖炳才
StreamX 是一個非常好的 Flink 開發平臺，功能完善，使用方便，在我們的生產使用過程中，主要是以 application方式將 Flink 任務部署到 k8s 容器，StreamX 幫助我們方便的管理 Flink 任務，大大的減少了運維成本，提高效率，歡迎大家使用，也祝願StreamX 越來越好。
— Baidu 資深巨量資料開發工程師 張軍
StreamX 是目前少有的實時計算平臺專案，結合了當前最新的Flink流計算實現了基於Standalone、YARN、K8S 等多種模式的作業提交和管理模式，降低使用者管理實時作業門檻，希望2022年能繼續發力，往Flink SQL 平臺邁進，同時2022年我也會持續關注StreamX 並且貢獻自己一份力量!
— Apahce Flink 社群志願者 & StreamX 貢獻者 陳政羽
StreamX 秉承著開箱即用的思想，極大的簡化了 Flink&Spark 開發部署流程，在框架中封裝了很多源和接收器，讓開發人員只專注業務邏輯，基於以上優勢我司在實際生產中使用了 StreamX。強烈推薦更多的公司和開發者使用，祝願 StreamX 發展的越來越好。
— INMOBO中國 巨量資料團隊負責人 於威
StreamX 作為運荔枝資料平臺核心工具，解決了我們實時任務從開發、部署、運維各個環節的難題，保障了實時任務的穩定性；它直觀視覺化的操作介面，無論是基於 DataStream API 還是 Flink SQL 都能快速、方便的一站式完成業務邏輯的開發，使得流式任務整個開發過程更加敏捷。
— 成都運荔枝科技 巨量資料應用架構師 李建
StreamX 作為一款功能強大、場景覆蓋廣的資料開發框架平臺，提供了非常優秀的產品化解決方案，化繁為簡，降低了使用者使用 Flink 等計算引擎的成本並提升了使用者體驗 。塵鋒資訊通過 StreamX 用極短的調研試用時間和極少的人力成本落地了實時計算平臺，避免了在基礎設施建設上浪費大量人力和時間，並快速服務業務為市場引得先機。作為一名資料開發，不僅可以通過 StreamX 提供的程式設計模型、計算引擎整合、依賴管理等功能，快速且優雅的完成需求開發及維護，並且能夠從 StreamX 的原始碼中學習到非常多的底層知識，開發出更加優秀穩定的應用, 相信未來會有越來越多的資料開發同學發現 SteamX ，用上 StreamX ，愛上 StreamX ，並通過 StreamX 創造資料價值。
—北京塵鋒資訊科技有限公司 資深資料開發工程師 代欣雨
SteamX 是一套優秀的 Flink 任務管理工具，微品致遠在資料處理平臺流式資料處理選型的時候瞭解到 StreamX，在深入瞭解後，被 StreamX 流式計算的全流程打通所吸引，便毫不猶豫的納入到了微品致遠的資料處理平臺中。引入 StreamX 後，從流式計算的 ide 開發，到後續的任務上線，完全打通，解決了之前 Flink 任務上線混亂，管理起來繁瑣的問題，從而提高了提高了團隊任務開發到上線的效率。相信隨著 StreamX 的影響力的擴大，會有更多的 Flink 開發者將 StreamX 應用到自己的開發上線流程中。
— 深圳微品致遠 巨量資料開發組長 張凌瑋
第一次遇到 StreamX，就被它的友好的介面，豐富的功能所吸引。樂我無限 從 1.0 開始跟進，StreamX 有著活躍的社群，功能也在一步一步的迭代更新，越來越強大。通過 StreamX 我司成功的遷移了 50+ 個實時作業，做到了開發模式的統一管理，為我司的開發維護節省了許多時間。使用 StreamX 使得 Flink 作業開發更方便，管理更友好，維護更省心。StreamX 一直在追求做到更好，不斷解決一些痛點問題，強烈推薦大家使用。
— 樂我無限 高階巨量資料開發工程師 秦基勇
未來規劃
目前StreamX 已完成 Flink 任務的託管, 從專案建立伊始, 我們就嘗試系統性的解決 Flink 多版本的支援, 任務Jar包隔離, 同時支援 DataStream 和 FlinkSQL, 支援Flink 所有部署模式...等一系列的常見問題, 所幸的是這部分基礎建設工作已經完成且趨於穩定, 這部分工作很有挑戰, 也非常重要，感謝所有開發者們付出的努力。後面我們會逐步把 StreamX 裡沉澱的一些好的經驗反饋到上游 Flink / Spark 社群, 開源協同。接下來的 1.3.0 中我們關注的重點是流式數倉(Streaming-Warehouse) 和 雲原生(Cloud-Native)。會新增全新的開發工作臺 - SQL Workbench(草稿、偵錯、預覽、釋出、鎖定、版本管理...), 該部分的開發工作已經在進行中, 瞭解詳情請移步 1.3.0的 roadmap。
[ SQL Workbench Preview ]
加入我們
StreamX 遵循 Apache-2.0 開源協定，將會是個長期更新的活躍專案，自專案開源以來就受到很多同行的關注和認可，目前已經登記生產使用的使用者有: 尚矽谷, INMOBI, JOYME , 百麗國際, 中聯重科... 更有百度這樣的一線大廠。StreamX 在沒有任何形式推廣的情況下，靠口碑在不到一年的時間裡已經累計 900 + star，貢獻者共計30位，總程式碼量已經突破10萬行。StreamX 於 2021 年 11 月榮獲開源中國「最有價值開源專案」。隨後榮獲「2021 年度 OSC 中國開源專案評選」的「最受歡迎專案」，非常感謝中國本土最大最權威的開源社群-開源中國的認可! 並且陸續有多家IT教育機構出相關課程, 更有尚矽谷這樣的品質和口碑一流的 IT 教育機構和 StreamX 展開合作, 這對於一個開源不到一年的專案來說, 是非常少見的, 感謝大家支援, 我們會繼續努力, 我們堅信未來會更好。
[StreamX 使用者牆]
流批一體，流式數倉，資料湖是巨量資料領域的趨勢，StreamX 雖離這個目標還有一段距離，但我們始終堅信: 道阻且長，行則將至，行而不輟，未來可期。我們會積極進取，做好相關功能持續迭代優化，和社群所有小夥伴一起努力進一步建設好社群，讓 StreamX 成為一個功能完善，體驗更佳，使用者更多的產品，再獲得更多認可。真誠歡迎熱愛開源的夥伴加入到社群中來，為做一個優秀實用的好專案獻上一份自己的力量。
