Skip to content

Commit 754d0e5

Browse files
HiLanyHiLany
committed
[docs][elasticsearch5&6&7]add and update elasticsearch's doc
1 parent 7616174 commit 754d0e5

6 files changed

+255
-38
lines changed

‎docs/plugin/elasticsearchSink.md ‎docs/plugin/elasticsearch5Sink.md

+6-5
Original file line numberDiff line numberDiff line change
@@ -27,19 +27,19 @@ CREATE TABLE tableName(
2727
## 4.参数：
2828
|参数名称|含义|是否必填|默认值|
2929
|----|---|---|----|
30-
|type|表明 输出表类型[mysq|hbase|elasticsearch]|是||
31-
|address | 连接ES Transport地址(tcp地址)|是||
30+
|type|表明 输出表类型[mysq|hbase|elasticsearch]|是|elasticsearch|
31+
|address | 连接ES Transport地址(tcp地址)|是|9300|
3232
|cluster | ES 集群名称 |是||
3333
|index | 选择的ES上的index名称|是||
3434
|estype | 选择ES上的type名称|是||
3535
|id | 生成id的规则(当前是根据指定的字段名称(或者字段position)获取字段信息,拼接生成id)|否||
36-
|authMesh | 是否进行用户名密码认证 | 否 | false|
36+
|authMesh | 是否进行用户名密码认证(xpack认证) | 否 | false|
3737
|userName | 用户名 | 否，authMesh='true'时为必填 ||
3838
|password | 密码 | 否，authMesh='true'时为必填 ||
3939
|parallelism | 并行度设置|否|1|
4040

4141
## 5.样例：
42-
```
42+
```sql
4343
CREATE TABLE MyTable(
4444
channel varchar,
4545
pv varchar
@@ -61,14 +61,15 @@ CREATE TABLE MyResult(
6161
channel varchar
6262
)WITH(
6363
type ='elasticsearch',
64-
address ='172.16.8.193:9200',
64+
address ='172.16.8.193:9300',
6565
authMesh='true',
6666
username='elastic',
6767
password='abc123',
6868
estype ='external',
6969
cluster ='docker-cluster',
7070
index ='myresult',
7171
id ='pv',
72+
-- id = '1' # 在支持position方式和属性名方式
7273
updateMode ='append',
7374
parallelism ='1'
7475
);

‎docs/plugin/elasticsearch6Side.md

+32-29
Original file line numberDiff line numberDiff line change
@@ -1,5 +1,4 @@
1-
2-
## 1.格式：
1+
## 1.格式
32
```
43
CREATE TABLE tableName(
54
colName cloType,
@@ -24,45 +23,49 @@
2423
```
2524

2625
# 2.支持版本
27-
elasticsearch 6.8.6
26+
27+
elasticsearch `6.x`
2828

2929
## 3.表结构定义
30-
31-
|参数名称|含义|
32-
|----|---|
33-
| tableName | elasticsearch表名称|
34-
| colName | 列名称|
35-
| colType | 列类型 [colType支持的类型](../colType.md)|
36-
| PERIOD FOR SYSTEM_TIME | 关键字表明该定义的表为维表信息|
37-
| PRIMARY KEY(keyInfo) | 维表主键定义;多个列之间用逗号隔开|
30+
31+
|参数名称|含义|
32+
|---|---|
33+
| tableName | elasticsearch表名称|
34+
| colName | 列名称|
35+
| colType | 列类型 [colType支持的类型](../colType.md)|
36+
| PERIOD FOR SYSTEM_TIME | 关键字表明该定义的表为维表信息|
37+
| PRIMARY KEY(keyInfo) | 维表主键定义;多个列之间用逗号隔开|
3838

3939
## 4.参数
4040

41-
|参数名称|含义|是否必填|默认值|
42-
|----|---|---|----|
43-
type|表明 输出表类型[elasticsearch6]|是||
44-
|address | 连接ES Transport地址(tcp地址)|是||
45-
|cluster | ES 集群名称 |是||
46-
|index | 选择的ES上的index名称|否||
47-
|esType | 选择ES上的type名称|否||
48-
|authMesh | 是否进行用户名密码认证 | 否 | false|
49-
|userName | 用户名 | 否，authMesh='true'时为必填 ||
50-
|password | 密码 | 否，authMesh='true'时为必填 ||
51-
| cache | 维表缓存策略(NONE/LRU)|否|NONE|
52-
| partitionedJoin | 是否在維表join之前先根据 設定的key 做一次keyby操作(可以減少维表的数据缓存量)|否|false|
53-
|parallelism | 并行度设置|否|1|
41+
|参数名称|含义|是否必填|默认值|
42+
|----|---|---|----|
43+
|type|表明 输出表类型[elasticsearch6]|是||
44+
|address | 连接ES Http地址|是||
45+
|cluster | ES 集群名称 |是||
46+
|index | 选择的ES上的index名称|否||
47+
|esType | 选择ES上的type名称|否||
48+
|authMesh | 是否进行用户名密码认证 | 否 | false|
49+
|userName | 用户名 | 否，authMesh='true'时为必填 ||
50+
|password | 密码 | 否，authMesh='true'时为必填 ||
51+
| cache | 维表缓存策略(NONE/LRU)|否|NONE|
52+
| partitionedJoin | 是否在維表join之前先根据 設定的key 做一次keyby操作(可以減少维表的数据缓存量)|否|false|
53+
|parallelism | 并行度设置|否|1|
5454

55-
----------
56-
> 缓存策略
57-
* NONE: 不做内存缓存
58-
* LRU:
55+
56+
----------
57+
> 缓存策略
58+
59+
* NONE: 不做内存缓存
60+
* LRU:
5961
* cacheSize: 缓存的条目数量
6062
* cacheTTLMs:缓存的过期时间(ms)
6163
* cacheMode: (unordered|ordered)异步加载是有序还是无序,默认有序。
6264
* asyncCapacity:异步请求容量，默认1000
6365
* asyncTimeout：异步请求超时时间，默认10000毫秒
6466

6567
## 5.样例
68+
6669
```
6770
create table sideTable(
6871
channel varchar,
@@ -71,7 +74,7 @@ create table sideTable(
7174
PERIOD FOR SYSTEM_TIME
7275
)WITH(
7376
type ='elasticsearch6',
74-
address ='172.16.10.47:9500',
77+
address ='localhost:9200',
7578
cluster='es_47_menghan',
7679
estype ='type1',
7780
index ='xc_es_test',

‎docs/plugin/elasticsearch6Sink.md

+3-3
Original file line numberDiff line numberDiff line change
@@ -17,7 +17,7 @@ CREATE TABLE tableName(
1717
)
1818
```
1919
## 2.支持的版本
20-
elasticsearch 6.8.6
20+
elasticsearch `6.x`
2121

2222
## 3.表结构定义
2323

@@ -31,7 +31,7 @@ CREATE TABLE tableName(
3131
|参数名称|含义|是否必填|默认值|
3232
|----|---|---|----|
3333
|type|表明 输出表类型[elasticsearch6]|是||
34-
|address | 连接ES Transport地址(tcp地址)|是||
34+
|address | 连接ES Http地址|是||
3535
|cluster | ES 集群名称 |是||
3636
|index | 选择的ES上的index名称|是||
3737
|esType | 选择ES上的type名称|是||
@@ -74,7 +74,7 @@ CREATE TABLE MyResult(
7474
cluster ='docker-cluster',
7575
index ='myresult',
7676
id ='pv',
77-
updateMode ='append',
77+
-- id = '1' # 在支持position方式和属性名方式
7878
parallelism ='1'
7979
);
8080

‎docs/plugin/elasticsearch7Side.md

+90
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,90 @@
1+
## 1.格式
2+
3+
```sql
4+
CREATE TABLE tableName(
5+
colName cloType,
6+
...
7+
PRIMARY KEY(keyInfo),
8+
PERIOD FOR SYSTEM_TIME
9+
)WITH(
10+
type='elasticsearch7',
11+
address ='ip:port[,ip:port]',
12+
index ='index',
13+
authMesh='true',
14+
userName='dbUserName',
15+
password='dbPwd',
16+
cache ='LRU',
17+
cacheSize ='10000',
18+
cacheTTLMs ='60000',
19+
parallelism ='1',
20+
partitionedJoin='false'
21+
);
22+
```
23+
24+
# 2.支持版本
25+
26+
elasticsearch `6.x`
27+
28+
## 3.表结构定义
29+
30+
|参数名称|含义|
31+
|----|---|
32+
| tableName | elasticsearch表名称|
33+
| colName | 列名称|
34+
| colType | 列类型 [colType支持的类型](../colType.md)|
35+
| PERIOD FOR SYSTEM_TIME | 关键字表明该定义的表为维表信息|
36+
| PRIMARY KEY(keyInfo) | 维表主键定义;多个列之间用逗号隔开|
37+
38+
## 4.参数
39+
40+
|参数名称|含义|是否必填|默认值|
41+
|---|---|---|---|
42+
|type|表明 输出表类型[elasticsearch6]|是||
43+
|address | 连接ES Http地址|是||
44+
|index | 选择的ES上的index名称|否||
45+
|authMesh | 是否进行用户名密码认证 | 否 | false|
46+
|userName | 用户名 | 否，authMesh='true'时为必填 ||
47+
|password | 密码 | 否，authMesh='true'时为必填 ||
48+
|cache | 维表缓存策略(NONE/LRU)|否|NONE|
49+
|partitionedJoin | 是否在維表join之前先根据 設定的key 做一次keyby操作(可以減少维表的数据缓存量)|否|false|
50+
|parallelism | 并行度设置|否|1|
51+
52+
----------
53+
> 缓存策略
54+
* NONE: 不做内存缓存
55+
* LRU:
56+
* cacheSize: 缓存的条目数量
57+
* cacheTTLMs:缓存的过期时间(ms)
58+
* cacheMode: (unordered|ordered)异步加载是有序还是无序,默认有序。
59+
* asyncCapacity:异步请求容量，默认1000
60+
* asyncTimeout：异步请求超时时间，默认10000毫秒
61+
62+
## 5.样例
63+
64+
```sql
65+
create table sideTable(
66+
channel varchar,
67+
xccount int,
68+
PRIMARY KEY(channel),
69+
PERIOD FOR SYSTEM_TIME
70+
)WITH(
71+
type ='elasticsearch6',
72+
address ='localhost:9200',
73+
cluster='es_47_menghan',
74+
estype ='type1',
75+
index ='xc_es_test',
76+
authMesh='true',
77+
userName='dtstack',
78+
password='abc123',
79+
cache ='LRU',
80+
cacheSize ='10000',
81+
cacheTTLMs ='60000',
82+
cacheMode='unordered',
83+
asyncCapacity='1000',
84+
asyncTimeout='10000'
85+
parallelism ='1',
86+
partitionedJoin='false'
87+
);
88+
```
89+
90+

‎docs/plugin/elasticsearch7Sink.md

+119
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,119 @@
1+
## 1.格式：
2+
```
3+
CREATE TABLE tableName(
4+
colName colType,
5+
bb INT
6+
)WITH(
7+
type ='elasticsearch7',
8+
address ='ip:port[,ip:port]',
9+
index ='index',
10+
id = 'field[,field]',
11+
authMesh = 'true',
12+
userName = 'userName',
13+
password = 'password',
14+
parallelism ='1'
15+
)
16+
```
17+
## 2.支持的版本
18+
elasticsearch `7.x`
19+
20+
## 3.表结构定义
21+
22+
|参数名称|含义|
23+
|----|---|
24+
|tableName|在 sql 中使用的名称;即注册到flink-table-env上的名称|
25+
|colName|列名称|
26+
|colType|列类型 [colType支持的类型](../colType.md)|
27+
28+
## 4.参数：
29+
|参数名称|含义|是否必填|默认值|
30+
|----|---|---|----|
31+
|type|表明 输出表类型[elasticsearch7]|是||
32+
|address | 连接ES Http地址|是||
33+
|index | 选择的ES上的index名称,支持静态索引和动态索引，动态索引示例: `{user_name}`|是||
34+
|index_definition| 为ES定义索引的字段类型、别名以及shard数量|否|
35+
|id | 生成id的规则，根据字段名称定义文档ID|否|uuid|
36+
|authMesh | 是否进行用户名密码认证（xpack） | 否 | false|
37+
|userName | 用户名 | 否，authMesh='true'时为必填 ||
38+
|password | 密码 | 否，authMesh='true'时为必填 ||
39+
|parallelism | 并行度设置|否|1|
40+
41+
## 5.完整样例：
42+
```
43+
CREATE TABLE MyTable(
44+
channel varchar,
45+
pv int,
46+
)WITH(
47+
type ='kafka11',
48+
bootstrapServers ='172.16.8.107:9092',
49+
zookeeperQuorum ='172.16.8.107:2181/kafka',
50+
offsetReset ='latest',
51+
topic ='es_test',
52+
timezone='Asia/Shanghai',
53+
updateMode ='append',
54+
enableKeyPartitions ='false',
55+
topicIsPattern ='false',
56+
parallelism ='1'
57+
);
58+
59+
CREATE TABLE MyResult(
60+
channel varchar,
61+
pv int
62+
)WITH(
63+
type ='elasticsearch7',
64+
address ='172.16.8.193:9200',
65+
authMesh='true',
66+
username='elastic',
67+
password='abc123',
68+
estype ='external',
69+
cluster ='docker-cluster',
70+
index ='myresult',
71+
-- index = '{pv}' # 动态索引写法
72+
id ='pv',
73+
parallelism ='1'
74+
);
75+
76+
CREATE TABLE sideTable(
77+
a varchar,
78+
b varchar,
79+
PRIMARY KEY(a) ,
80+
PERIOD FOR SYSTEM_TIME
81+
)WITH(
82+
type ='elasticsearch7',
83+
address ='172.16.8.193:9200',
84+
index ='sidetest',
85+
authMesh='true',
86+
username='elastic',
87+
password='abc123',
88+
cache ='LRU',
89+
cacheSize ='10000',
90+
cacheTTLMs ='60000',
91+
partitionedJoin ='false',
92+
parallelism ='1'
93+
);
94+
95+
insert
96+
into
97+
MyResult
98+
select
99+
w.b as pv,
100+
s.channel as channel
101+
from
102+
MyTable s
103+
join
104+
sideTable w
105+
on s.pv = w.a
106+
where
107+
w.a = '10'
108+
and s.channel='xc';
109+
```
110+
## 6.结果数据
111+
### 输入数据
112+
```
113+
{"channel":"xc26","pv":10,"xctime":1232312}
114+
```
115+
### 输出数据
116+
```
117+
http://localhost:9200/myresult/_search
118+
{"_index":"myresult","_type":"external","_id":"8aX_DHIBn3B7OBuqFl-i","_score":1.0,"_source":{"pv":"10","channel":"xc26"}}
119+
```

‎docs/pluginsInfo.md

+5-1
Original file line numberDiff line numberDiff line change
@@ -4,7 +4,9 @@
44

55
#### 1.2 结果表插件
66
* [kafka 结果表插件](plugin/kafkaSink.md)
7-
* [elasticsearch 结果表插件](plugin/elasticsearchSink.md)
7+
* [elasticsearch5 结果表插件](plugin/elasticsearch5Sink.md)
8+
* [elasticsearch6 结果表插件](plugin/elasticsearch6Sink.md)
9+
* [elasticsearch7 结果表插件](plugin/elasticsearch7Sink.md)
810
* [hbase 结果表插件](plugin/hbaseSink.md)
911
* [mysql 结果表插件](plugin/mysqlSink.md)
1012
* [oracle 结果表插件](plugin/oracleSink.md)
@@ -21,6 +23,8 @@
2123
#### 1.3 维表插件
2224
* [hbase 维表插件](plugin/hbaseSide.md)
2325
* [mysql 维表插件](plugin/mysqlSide.md)
26+
* [elasticsearch6 维表插件](plugin/elasticsearch6Side.md)
27+
* [elasticsearch7 维表插件](plugin/elasticsearch7Side.md)
2428
* [oracle 维表插件](plugin/oracleSide.md)
2529
* [mongo 维表插件](plugin/mongoSide.md)
2630
* [redis 维表插件](plugin/redisSide.md)

0 commit comments

Comments
 (0)