Apache Linkis(incubating) 1.0.3 版本釋出

Linkis 1.0.3 版本釋出

Apache Linkis(incubating) 1.0.3 包含所有 Project Linkis-1.0.3。

該版本是Linkis進入Apache孵化的第一個版本。主要完成ASF基礎設施建設，包括License完善/包名修改等，增加EngineConn對Operator的支援等功能，修復社群反饋的1.0.2版本中的bug。

新增了以下主要功能：

• http restful api風格使用springmvc替換jersey

• 用 fastxml json 替換 codehaus json

• 支援 EngineConn/OnceEngineConn 通用operator

• 支援使用kerberos代理使用者

縮寫：

• CGS: Computation Governance Services

• PES: Public Enhancement Services

• MGS: Microservice Governance Services

新特性

• [CGS&PES&MGS][Linkis-1002] http restful api風格使用springmvc替換jersey

• [CGS&PES&MGS][Linkis-1038] 用 fastxml json 替換 codehaus json

• [CGS-Engineconn][Linkis-1027] 支援使用 kerberos 代理使用者

• [CGS-LinkisManager][Linkis-1043] 支援引擎operator

• [CGS-LinkisOnceEngineconn][Linkis-946] 支援服務發現進行服務呼叫時使用IP地址

• [CGS-LinkisOnceEngineconn][Linkis-1078] 支援EngineConn/OnceEngineConn 通用operator

   

功能增強

• [Commons][Linkis-1026] 資料匯出到excel的優化

• [Commons][Linkis-1036] 本地檔案/IO代理模式的檔案許可權優化

• [Commons][Linkis-1185] 新增一些scala程式碼規範檢查規則

• [Orchestrator][Linkis-1183] 優化計算編排器程式碼

• [MGS-LinkisServiceGateway][Linkis-1064] 支援白名單api設定，無需使用者登入驗證即可呼叫

• [CGS-EngineConnManager][Linkis-1030] 將自定義環境從ecm傳輸到引擎

• [CGS-EngineConnPlugin] [Linkis-1083] 將engineConnPlugin異常類統一在一個包中優化

• [CGS-EngineConnPlugin][Linkis-1203] 優化標籤更新/刪除邏輯

• [CGS-EngineConnPlugin-Flink][Linkis-1069] 在flink中新增kafka、json和hadoop-mapreduce-client-core jar引擎

• [CGS-EngineConnPlugin-JDBC] [Linkis-1117]支援linkis jdbc的kerberos認證型別

• [CGS-EngineConnManager][Linkis-1167] processEngineConnLaunch 新增對 JAVA_HOME 環境變數的支援

• [CGS-ComputationClient][Linkis-1126]支援python matplotlib顯示圖片

• [CGS-Entrance][Linkis-1206] 優化entrance邏輯，增加taskID區分任務

• [CGS-LinkisManager][Linkis-1209] 優化manager常用的多項功能

• [CGS-LinkisManager][Linkis-1213] 優化支援long-lived標籤與不可刪除節點的關係

• [PES-PublicService][Linkis-1211] 優化jobhistory更新邏輯

• [PES-Metadata][Linkis-1224]優化datasource/dbs http介面查詢結果與登入使用者關聯限制

Bug修復

• [DB][Linkis-1053] 修復由於資料庫表欄位長度過長導致資料插入可能失敗的問題

• [DB][Linkis-1087] 刪除重複的DDL

• [Commons][Linkis-1058] 修復上傳存在子目錄時無法壓縮的問題

• [Commons][Linkis-1223] 升級 log4j 版本到 2.17.0

• [Commons][Linkis-1052] 修復了當主機名以應用程式名稱開頭時無法獲取路由範例的問題

• [CGS-LinkisManager][Linkis-1014] 修復object相等判斷的錯誤用法

• [CGS-LinkisManager][Linkis-1054] 修復了當主機名包含服務名時範例標籤解析失敗的問題。

• [CGS-LinkisManager][Linkis-1074] 修復了 http api 'rm/userresources' 的 NPE問題

• [CGS-LinkisManager][Linkis-1101] 修復引擎不存在時監視器停止引擎的問題

• [CGS-LinkisManager][Linkis-1210] 修復範例檢查和引擎標籤排除的bug

• [CGS-LinkisManager][Linkis-1214] 修復多個RM模組高並行Bug

• [CGS-LinkisManager][Linkis-1216] 從AM中刪除節點監控模組

• [CGS-LinkisManager][Linkis-1222] 新增成功和失敗的ECM註冊響應

• [MGS-LinkisServiceGateway][Linkis-1093] 修復pass auth uri為空字元可能導致的許可權繞過bug

• [MGS-LinkisServiceGateway][Linkis-1105] 修改linkis預設測試賬號弱密碼問題

• [MGS-LinkisServiceGateway][Linkis-1234] 修復SSO登入記憶體洩露問題

• [CGS-Common][Linkis-1199] 修復SqlCodeParser對分割符「;」跳脫成多個SQL

• [CGS-Entrance][Linkis-1073] 修復http api 'entrance/{id}/killJobs' 未使用引數導致的異常{ID}

• [CGS-Entrance][Linkis-1106] VarSubstitutionInterceptor 獲取程式碼型別錯誤修復

• [CGS-Entrance][Linkis-1149] 修復job任務完成後前臺無法獲取進度資訊的問題資料

• [CGS-Entrance][Linkis-1205] 修復了 LogWirter 的 oom 錯誤

• [CGS-EngineConnPlugin][Linkis-1113] 修復bml資源資料記錄更新時sql語句錯誤

• [CGS-EngineConnPlugin-JDBC] [Linkis-923] 修復未設定JDBC引擎連線url的bug

• [CGS-EngineConnPlugin-Spark][Linkis-1017] 修復了 spark3 引擎編譯錯誤

• [CGS-EngineConnPlugin-Flink][Linkis-1128] 修復flink引擎插入問題

• [CGS-EngineConnPlugins-Hive][Linkis-1231] 修復引擎推播多個子任務的進度bug

• [PEC-BmlServer][Linkis-1155] 修復sql語句中使用mysql保留字的問題

• [PEC-CSServer][Linkis-1160] 修復 CsJobListener 中的 NPE

• [Orchestrator][Linkis-1179] 修復了orchestrator並行導致的bug

• [Orchestrator][Linkis-1186] 修復Orchestrator排隊的任務無法被kill的問題

• [Console][Linkis-1121] 從當前請求中獲取協定，刪除'http'的硬程式碼

注意：因為mysql-connector-java驅動是GPL2.0協定，不滿足Apache開源協定關於license的政策，因此從1.0.3版本開始，提供的Apache版本官方部署包，預設是沒有mysql-connector-java-x.x.x.jar的依賴包，安裝部署時需要手動新增依賴到對應的lib包中。

詳細安裝部署見指引：

官方下載連結：

貢獻者

Apache Linkis(incubating) 1.0.3的釋出離不開Linkis社群的貢獻者。感謝所有的社群貢獻者！