【里程碑】DataSphereStudio1.0.0 正式釋出
DataSphereStudio 1.0.0 是踐行資料應用開發管理框架的里程碑,帶來了一系列強大的全新特性和高可延伸、低耦合的資料應用開發整合架構設計和實現。
DSS1.0.0主要特性如下:
- 全新的UI介面。對DSS前端的UI互動進行大調整,並邀請了天翼雲巨量資料平臺王小剛團隊的UI設計師周聰量身設計了全新UI視覺稿,極大提升了開發套件的使用者產品化使用體驗。
- 全新架構體系。第三方系統接入DSS的聯結器外掛AppConn(主要由三大接入規範AppStandard組成)、DSS編排模式Orchestrator和DSS框架等架構,為DSS提供強大的資料應用整合開發框架能力。
- DSS工作流上下文能力。這是DSS1.0的重磅級能力,上游節點的結果集支援作為臨時表,直接提供給下游進行使用。比如:上游一個SQL節點的結果集,下游的SQL節點可以直接進行select使用。
- 匯入匯出能力。DSS1.0的另一大重磅級能力。匯入匯出解決了第三方元件一個節點多次匯出匯入時的重名問題、版本問題、各種物料的同步等多個複雜問題,同時還解決了上下文能力的同步問題。該特性為大家做開發/生產的完全隔離提供了技術支援。
- DataApiService(資料API服務)。資料Api服務是基於艾佳生活巨量資料平臺張榮團隊貢獻的PR,再次二開優化出的版本,目前支援將Scriptis的一個SQL指令碼釋出為一個資料Api服務,對外提供RestAPI能力。
- 工作空間管理。強化了工作空間的管理能力,提供了使用者管理和角色許可權管理能力。
- 協同開發能力。DSS工程允許使用者為一個工程設定編輯許可權和檢視許可權,多個使用者可以並行操作同一條工作流。
縮略用語:
DSS: DataSphereStudio
新特性
Framework
- [DSS-Framework] 提供DSS框架模組的通用類。
- [DSS-Framework] 為DSS-Orchestrator提供框架層的管理能力。
- [DSS-Framework] 為DSS-Project提供框架層的管理能力。
- [DSS-Framework] 為DSS的工作空間提供框架層的管理能力。
- [DSS-Framework] 增強框架的能力,提供DSS-Orchestrator釋出到第三方應用工具的功能。
- [DSS-Framework] 為框架層定義通用功能模組。
Orchestrator
- [DSS-Orchestrator] 為Orchestrator定義通用功能模組。
- [DSS-Orchestrator] 新增Orchestrator與第三方應用互相轉換的轉換規範。
- [DSS-Orchestrator] 新增Orchestrator的核心介面和預設頂級子類。
- [DSS-Orchestrator] 為Orchestrator提供資料庫持久化能力。
- [DSS-Orchestrator] 新增載入和管理Orchestrator範例的能力。
DSS-Workflow
- [DSS-Workflow] 新增DSS工作流的通用功能模組。
- [DSS-Workflow] 新增DSS工作流與第三方排程系統互相轉換的轉換規範。
- [DSS-Workflow] 新增DSS工作流SDK模組,用於提供工作流的解析、構建能力
- [DSS-Workflow] 增強DSS工作流模組的執行能力,以適配DSS1.0.0的全新架構
AppStandard
- [DSS-Standard] 定義DSS整合第三方應用的三級開發流程接入規範DevelopmentStandard。
- [DSS-Standard] 提供DSS AppStandard的通用功能模組。
- [DSS-Standard] 定義DSS整合第三方應用的二級組織結構接入規範StructureStandard。
- [DSS-Standard] 定義DSS整合第三方應用的一級SSO免密跳轉接入規範SSOStandard。
AppConn
- [DSS-AppConn] 新增第三方應用接入DSS1.0.0的三大接入規範AppStandard。
- [DSS-AppConn] 新增AppConn核心介面和預設頂級子類。
- [DSS-AppConn] 新增DSS1.0.0 AppConn類載入和範例化模組。
- [DSS-AppConn] 新增Scheduler AppConn抽象層,用於對接第三方排程系統。
- [DSS-AppConn] 新增Linkis的AppConnEngineConn外掛,支援第三方節點的執行。
- [DSS-AppConn] 新增AppConn和AppInstance持久化資料庫的能力。
- [DSS-AppConn] 新增Appconn的通用功能模組
資料API服務
- [DSS-ApiService] 新增資料API服務
Web 前端
- [DSS-Web] 新增DSS1.0.0的全新前端介面。
功能增強
- [DSS-Workflow] 增強DSS工作流實時執行能力,適配DSS1.0.0的新架構。
- [DSS-Workflow] 增強DSS工作流節點執行能力,適配DSS1.0.0的新架構。
- [DSS-Workflow] 增強DSS工作流微模組的功能,適配DSS1.0.0的新架構
- [DSS-DataPipe] 提供Hive資料表匯入匯出能力
- [DSS-Package] 優化DSS1.0.0的打包部署模組
- [DSS-Config] 更新組態檔和資料庫指令碼檔案
- [DSS-ContextService] 新增一個介面以獲取ContextID
Bugs 修復
- [DSS-Package] 優化DSS1.0.0 assembly模組的打包方式
- [DSS-Package] 優化DSS1.0.0組態檔和資料庫指令碼檔案
- [DSS-Package] 刪除一些無用的程式碼並解決編譯問題
- [DSS-Package] 優化應用程式啟動指令碼
貢獻者
DSS 1.0.0的釋出與DSS社群的貢獻者密不可分。感謝所有社群貢獻者!
編譯版本
- 騰訊雲: