doris單機安裝部署
doris單機安裝部署
一、下載Doris
環境要求
Linux系統：Centos7.x或Ubantu16.04及以上版本
Java執行環境: JDK8
檢視Java版本
java -version
在windows上使用IDM下載工具從doris官網上下載最新二進位制版本加快下載速度，通過Xftp上傳至Linux系統檔案目錄中
doris下載地址
IBM下載連結
解壓、改名為apache-doris-2.0.0
tar -zxvf apache-doris-2.0.0-bin-x64.tar.gz -C /data/soft
mv apache-doris-2.0.0-bin-x64 apache-doris-2.0.0
· 二、FE的設定、啟動
設定FE
cd apache-doris-2.0.0/fe
sudo vi conf/fe.conf
priority_networks=192.168.111.0/24
meta_dir=/path/your/doris-meta
注意
引數priority_networks我們在安裝的時候是必須要設定的，特別是當一臺機器擁有多個IP地址的時候，我們要為 FE 指定唯一的IP地址。
這裡假設你的節點 IP 是 172.23.16.32，那麼我們可以通過掩碼的方式設定為 172.23.16.0/24。
這裡meta_dir你可以不設定，預設是在你的Doris FE 安裝目錄下的 doris-meta，
單獨設定後設資料目錄，需要你提前建立好你指定的目錄
啟動FE
./bin/start_fe.sh --daemon
./bin/stop_fe.sh
通過web瀏覽器存取http://bigdata04:8030
注意：
這裡我們使用 Doris 內建的預設使用者 root 進行登入，密碼是空
這是一個 Doris 的管理介面，只能擁有管理許可權的使用者才能登入，普通使用者不能登入。
三、使用Mysql使用者端連線FE
mysql -uroot -P9030 -h bigdata04
mysql>
# 進入Mysql命令列後，執行下面命令檢視FE執行狀態
mysql>show frontends\G;
這三項為True說明節點正常
注意：
這裡使用的 root 使用者是 doris 內建的預設使用者，也是超級管理員使用者，具體的使用者許可權檢視 許可權管理
-P ：這裡是我們連線 Doris 的查詢埠，預設埠是 9030，對應的是fe.conf裡的 query_port
-h ： 這裡是我們連線的 FE IP地址，如果你的使用者端和 FE 安裝在同一個節點可以使用127.0.0.1。
四、BE的設定、啟動
設定BE
cd apache-doris-2.0.0/be
vi conf/be.conf
priority_networks=192.168.111.0/24
#設定BE資料儲存目錄
storage_root_path=/path/your/data_dir
# 由於從 1.2 版本開始支援 Java UDF 函數，BE 依賴於 Java 環境。所以要預先設定 `JAVA_HOME` 環境變數
JAVA_HOME=/opt/jdk1.8.0_341
注意：
引數priority_networks我們在安裝的時候是必須要設定的，特別是當一臺機器擁有多個IP地址的時候，我們要為 BE 指定唯一的IP地址
storage_root_path預設目錄在 BE安裝目錄的 storage 目錄下。
BE 設定的儲存目錄必須先建立好
安裝 Java UDF 函數:
安裝Java UDF 函數因為從1.2 版本開始支援Java UDF 函數，需要從官網下載 Java UDF 函數的 JAR 包放到 BE 的 lib 目錄下，否則可能會啟動失敗。
啟動BE
./bin/start_be.sh --daemon
./bin/stop_be.sh
注意：
這裡我遇到了兩個bug，導致BE無法啟動
1.Please set the maximum number of open file descriptors to be 65536 using 'ulimit -n 65536'.
- "Message": "[MEM_LIMIT_EXCEEDED]Allocator sys memory check failed: Cannot alloc:65536, consuming tracker:<Load#Id=cd4632d433195859-602fc7909f71b386>, exec node:<>, process memory used 103.36 MB exceed limit 1.42 GB or sys mem available 36.54 MB less than low water mark 181.91 MB.",
3.Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.
bug解決方法
# 1.修改檔案控制程式碼數
# 檢視當前大小
ulimit -a
# 臨時修改
ulimit -n 65536
# 永久修改
vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
# 2.修改max user processed程序數
# 臨時修改
ulimit -u 65536
# 永久修改
vi /etc/security/limits.conf
* soft nproc 65536
* hard nproc 65536
# 3.調整vm.max_map_count的大小
max_map_count檔案包含限制一個程序可以擁有的VMA(虛擬記憶體區域)的數量
# 檢視當前值
sysctl -a | grep vm.max_map_count
#臨時修改
sysctl -w vm.max_map_count=2000000
# 永久修改
vi /etc/sysctl.conf
vm.max_map_count=2000000
sysctl -p
五、新增BE節點到叢集
mysql>ALTER SYSTEM ADD BACKEND "bigdata04:9030";
be_host_ip：這裡是你 BE 的 IP 地址，和你在 be.conf 裡的 priority_networks 匹配
heartbeat_service_port：這裡是你 BE 的心跳上報埠，和你在 be.conf 裡的 heartbeat_service_port 匹配，預設是 9050。
六、檢視BE執行狀態
mysql>SHOW BACKENDS\G；
Alive為true表示節點正常
七、建立資料表並上傳資料
# 1.建立一個資料庫
mysql>create database demo;
# 2.建立資料表；
mysql>use demo;
# 3.建立表
mysql>CREATE TABLE IF NOT EXISTS demo.example_tbl
(
`user_id` LARGEINT NOT NULL COMMENT "使用者id",
`date` DATE NOT NULL COMMENT "資料灌入日期時間",
`city` VARCHAR(20) COMMENT "使用者所在城市",
`age` SMALLINT COMMENT "使用者年齡",
`sex` TINYINT COMMENT "使用者性別",
`last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "使用者最後一次存取時間",
`cost` BIGINT SUM DEFAULT "0" COMMENT "使用者總消費",
`max_dwell_time` INT MAX DEFAULT "0" COMMENT "使用者最大停留時間",
`min_dwell_time` INT MIN DEFAULT "99999" COMMENT "使用者最小停留時間"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
# 4.生成範例資料
# sudo vi test.csv 後將以下資料貼上進去儲存退出
10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10
10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,廣州,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6
# 5.匯入資料
## -T test.csv : 這裡使我們剛才儲存的資料檔案，如果路徑不一樣，請指定完整路徑
## -u root : 這裡是使用者名稱密碼，我們使用預設使用者root，密碼是空
## 127.0.0.1:8030 : 分別是 fe 的 ip 和 http_port
curl --location-trusted -u root: -T test.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/example_tbl/_stream_load
八、查詢資料
mysql> select * from example_tbl;
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
| user_id | date | city | age | sex | last_visit_date | cost | max_dwell_time | min_dwell_time |
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
| 10000 | 2017-10-01 | 北京 | 20 | 0 | 2017-10-01 07:00:00 | 35 | 10 | 2 |
| 10001 | 2017-10-01 | 北京 | 30 | 1 | 2017-10-01 17:05:45 | 2 | 22 | 22 |
| 10002 | 2017-10-02 | 上海 | 20 | 1 | 2017-10-02 12:59:12 | 200 | 5 | 5 |
| 10003 | 2017-10-02 | 廣州 | 32 | 0 | 2017-10-02 11:20:00 | 30 | 11 | 11 |
| 10004 | 2017-10-01 | 深圳 | 35 | 0 | 2017-10-01 10:00:15 | 100 | 3 | 3 |
| 10004 | 2017-10-03 | 深圳 | 35 | 0 | 2017-10-03 10:20:22 | 11 | 6 | 6 |
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
6 rows in set (0.07 sec)
mysql> select * from example_tbl where city='上海';
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
| user_id | date | city | age | sex | last_visit_date | cost | max_dwell_time | min_dwell_time |
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
| 10002 | 2017-10-02 | 上海 | 20 | 1 | 2017-10-02 12:59:12 | 200 | 5 | 5 |
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
1 row in set (0.05 sec)
mysql> select city, sum(cost) as total_cost from example_tbl group by city;
+--------+------------+
| city | total_cost |
+--------+------------+
| 北京 | 37 |
| 上海 | 200 |
| 廣州 | 30 |
| 深圳 | 111 |
+--------+------------+
4 rows in set (0.05 sec)```