TDengine入门

实践/数据库/TDengine入门.md

@@ -0,0 +1,798 @@
+# 基本概念
+
+TDengine有三个模块。一个是客户端模块`taosc`。另外两个是服务端模块，一个是管理节点模块`MGMT`，一个是数据节点模块`DNODE`。客户端模块把请求交给管理节点模块，通过TCP/UDP的方式，在配置文件中通过`mgmtShellPort`来配置端口，默认端口是`6030`。客户端模块也会和数据节点模块打交道，也通过TCP/UDP的方式，默认端口是`6035`。
+
+所有的元数据、存储和查询都会首先和管理节点模块打交道，会有缓存。元数据包括用户、数据库、表。
+
+在数据节点模块中的一个最重要的概念是虚拟节点`vnode`.一个库可以有很多`vnode`。一个表只会在一个`vnode`里，不会跨`vnode`存在。在写数据的时候里面有一个`预写日志`机制，就是把数据先放在缓存里，如果遇到突然断电的情况也没关系，因为当电力恢复之后缓存的数据还会进入硬盘，专业术语叫做`落盘`。落盘有两种方式。一种是`时间驱动落盘`，就是每隔一段时间缓存数据就会进入硬盘，默认为1小时，在`taos.cfg`中的`commitTime`字段配置；另外一种是`数据驱动落盘`，当缓存数据达到一定规模数据会进入硬盘，并且刷新日志文件。关键几个配置如下：
+
+```
+数据保存位置：
+    默认放在了/var/lib/taos/目录中，通过dataDir设置。
+
+数据分片：
+    默认vnode中表数据按10天切片，通过daysPerFile设置。
+
+保存时间：
+    默认是3650天，系统自动删除，通过daysToKeep设置。
+
+数据块：
+    按列存储。
+
+数据文件种类：
+    -data文件
+    -head文件
+    -last文件
+```
+
+**最佳实践**
+
+- **一个设备一张表**：提升读取写入速度，在存储介质上是连续的，一张表只有一个写入者，没有锁，以追加的方式写数据
+- **采集的物理量**：也就是列，类型包括整型、浮点型、字符串型，没有索引。
+- **时间戳**：有索引
+- **标签**：保存在超级表的元数据节点中
+- **超级表**：方便聚合统计
+- **库**：涉及保留时长、备份数、Cache大小、文件块大小、是否压缩分库
+- **库和表的数量**：没有限制
+
+# SQL语句
+
+- <> 表示用户需要输入的内容
+- [] 表示用户输入的内容可选
+- | 表示多选一
+- ... 表示前面的项可重复多个
+
+# 时间戳
+
+- 时间格式：YYYY-MM-DD HH:mm:ss.MS, 2017-08-12 18:25:58.128
+- 时间分辨率：默认毫秒
+- 服务器内部函数：now表示服务器的当前时间
+- 时间戳为0:默认使用服务器当前时间
+- Epoche Time,长整数：表示从1970-01-01 08：00：00.000开始的毫秒数
+- 时间可以加减：比如`now-2h`,a表示毫秒，s表示秒，m表示分钟，h表示小时,d表示天，w表示周，n表示月，y表示年。比如`select * from t1 where ts > now-2w and ts <=now-1w`
+- 启用微秒：通过`enableMicrosecond`
+
+# 数据类型
+
+- TIMESTAMP：8 bytes, 时间戳，最小精度为毫秒，从格林威治时间1970-01-01 08：00：00.000开始
+- INT：4 bytes, 整型，范围是[-2^31+1,2^31-1],-2^31被用作null值
+- BIGINT: 8 bytes，长整型，范围是[-2^59,2^59]
+- FLOAT:4 bytes, 浮点型，有效位数6-7
+- DOUBLE：8 bytes, 双精度浮点型，有效位数15-16
+- BINARY: 长度自定义，记录字符串，最长不能超过504bytes,字符串两端使用单引号，否则英文全部自动转换为小写。使用时需指定大小，比如binary(20)是最长是20个字符的字符串，每个字符站1byte的存储空间，如果字符串超过20个字节，将自动截断。对于字符串内的单引号，用转义符`\'`。
+- SMALLINT，2 bytes, 短整型，范围[-32767.32767]
+- TINYINT, 1 bytes, 单字节整型，范围[-127,127]
+- BOOL, 1 bytes, 布尔类型，true或false
+- NCHAR,自定义大小，拥有记录非ASCII字符串，如中文字符，每个nchar占用4个字节大小。字符串两端使用单引号，字符串内的单引号需要转义`\'`，nchar(10)表示最多存储10个nchar字符，占用40bytes空间。如果字符串超出声明长度将被自动截断。
+
+# 数据库管理
+
+SQL语句中的英文字符默认不区分大小写，统一自动转换为小写执行。如果有大小写敏感，需要使用单引号把大写字母引用起来。
+
+- 创建数据库：`CREATE DATABASE MYDB`,默认数据库数据保存10年
+- 使用数据库：`USE MYDB`
+- 删除数据库：`DROP DATABASE MYDB`
+- 显示所有数据库：`SHOW DATABASES`
+
+# 表管理
+
+- 创建表：`CREATE TABLE tb_name (timestamp_field_name TIMESTAMP, field1_name data_type1)`表的第一个字段必须是`TIMESTAMP`类型，系统会自动将其设置为主键。表的每行的长度不能超过托4096个字节。使用数据类型binary或nchar需要制定最长的字节数，比如binary(20)
+- 删除表：`DROP TABLE tb_name`
+- 显示数据库下的所有表信息：`SHOW TABLES`,可以使用like过滤，比如`SHOW TABLES LIKE ...`,%匹配0到任意个字符，_表示匹配一个字符
+- 获取表结构：`DESCRIBE`
+- 表增加列：·`ALTER TABLE tb_name ADD COLUMN field_name data_type`
+- 表删除列：`ALTER TABLE tb_name DROP COLUMN filed_name`
+
+注意：
+
+- 如果通过超级表创建，只能针对超级表进行操作，同时针对超级表的结构更改对所有表都会生效。
+- 使用`use db_name`操作后操作当前数据库下的表
+- 切换到其它数据库的表，可以使用`demo.tb1`来表示
+
+# 数据写入
+
+- 插入一条记录：`INSERT INTO tb_name VALUES (field_value, ...)`
+- 插入一条记录到指定的列：`INSERT INTO tb_name(field1_name,...) VALUES(field1_value)`,语句中没有出现的列，数据库将自动填充为NULL
+- 插入多条记录：`INSERT INTO tb_names VALUES (field1_value1, ...) (field1_value2,...)`
+- 按指定的列插入多条记录：`INSERT INTO tb_name(field1_name,...) VALUES(field1_value1,...)(field1_value2,...)`
+- 向多个表插入多条记录：`INSERT INTO tb1_name VALUES (field1_value1,...)(field1_value2,...)... tb2_name VALUES (field1_value1,...)(field1_value2,...)...`
+- 同时向多个表按列插入多条记录
+
+```
+INSERT INTO tb1_name (tb1_field1_name,...) VALUES(field1_value1,...)(field1_value1,...)
+            tb2_name (tb2_field1_name,...) VALUES(field1_value1,...)(field1_value2,...)
+```
+
+注意：
+
+- 对于同一张表，记录的时间戳必须是递增，否则会跳过插入该条记录；如果时间错为0，会默认使用服务器当前时间作为时间戳
+- 如果需要将时间戳小于最后一条记录时间的记录写入到数据库，可以使用IMPORT命令替代INSERT命令，语法是一样的；如果同时IMPORT多条记录，需要保证一批记录是按时间戳排序好的
+
+# 数据查询
+
+```
+SELECT {* | expr_list} FROM tb_name
+    [WHERRE wehre_condition]
+    [ORDER BY _c0 {DESC | ASC}]
+    [LIMIT limit, [, OFFSET offset]]
+    [>> export_file]
+
+SELECT function_list FROM tb_name
+    [WHERE where_condition]
+    [LIMIT limit [, OFFSET offset]]
+    [>> export_file]
+```
+
+- 返回所有列：*
+- 指定列
+- 对数字列进行四则运算
+- 给列取别名
+- where语句结合逻辑判断
+- where语句结合通配符
+- `_c0`表示首列的时间戳
+- 输出结果默认按时间戳升序排列
+- ORDER BY只能对时间戳操作，对其它字段操作属于非法
+
+过滤操作：同时使用多个字段过滤需要使用`AND`,暂时不支持`OR`。针对同一字段的过滤条件必须单一，例如`Value>20 and value <30`是合法的，`Value<20 AND Value <> 5`是非法的。
+
+- `>` 适用于timestamp 和 numeric types
+- `<` 适用于timestamp 和 numeric types
+- `>= ` 适用于 timestamp 和 numeric types
+- `<=` 适用于 timestamp 和 numeric types
+- `=` 适用于所有类型
+- `<>` 适用于所有类型
+- `%` 适用于 binary 和 nchar
+- `_` 适用于 binary 和 nchar
+
+# SQL函数
+
+COUNT
+```
+SELECT COUNT([*|field_name]) FROM tb_name [WHERE clause]
+返回行数或某列的非空值数量
+返回类型为INT64
+应用于全部字段，表和超级表
+```
+
+AVG
+```
+SELECT AVG(field_name) FROM tb_name [WHERE clause]
+
+返回统计表或超级表中某列的平均值，返回结果类型为double,不能应用在timestamp, binary, nchar, bool字段
+```
+
+WAVG
+```
+SELECT WAVG(field_name) FROM tb_name WHERE clause
+
+加权平均，返回sdouble,不能用在timestamp, binary, nchar, bool类型，适用于表和超级表
+```
+
+SUM
+```
+SELECT SUM(field_name) FROM tb_name [WHERE clause]
+
+统计表或超级表某列的和，返回double或int64,不能用在timestamp, binary, nchar, bool
+```
+
+STDDEV
+```
+SELECT STDDEV(field_name) FROM tb_name [WHERE clause]
+
+统计某列的均方差，返回double,不能用在timestamp, binary, nchar, bool
+```
+
+LEASTSQUARES
+```
+SELECT LEASTSQUARES(field_name) FROM tb_name [WHERE clause]
+
+返回表中某列值是主键(时间戳)的拟合直线方程，返回结果是字符串(斜率，截距),不能应用在timestamp, binary, nchar, bool,自变量是时间戳，因变量是该列的值，适用于表
+```
+
+MIN
+```
+SELECT MIN(field_name) FROM {tb_name | stb_name} [WHERE clause]
+
+不能用在timestamp, binary, ncahr, bool
+```
+
+MAX
+```
+SELECT MAX(field_name) FROM {tb_name | stb_name} [WHERE clause]
+```
+
+FIRST
+```
+SELECT FIRST(field_name) FROM {tb_name | stb_name} [WHERE clause]
+
+表或超级表中某列值最先写入的非NULL值，适用于所有字段，各个列FIRST(*),如果结果集中的某列全部为NULL,该列的返回结果也是NULL,如果结果集中所有列全部为NULL值则不返回结果
+```
+
+LAST
+```
+SELECT LAST(field_name) FROM {tb_name | stb_name} [WHERE clause]
+
+表或超级表中某列的值最后写入的非NULL值，所有字段，如果返回各个列LAST(*),如果结果集中某列全部为NULL值则该列返回的结果也是NULL,如果结果集中所有列全部为NULL则不返回结果。
+```
+
+TOP
+```
+SELECT TOP(field_name, K) FROM {tb_name | stb_name} [WHERE clause]
+
+统计表或超级表中某列的值最大k个非null值，不能用在timestamp, binary, ncahr, bool,k的取值范围在[1,100]
+```
+
+BOTTOM
+```
+SELECT BOTTOM(field_name, K) FROM {tb_name | stb_name} [WHERE clause]
+```
+
+PERCENTILE
+```
+SELECT PERCENTILE(field_name, P) FROM {tb_name | stb_name} [WHERE clause]
+
+表中某列值的百分比分位数，返回double, 不能用在timestamp, binary, ncahr, bool,k的范围0和100之间，0时候等同于MIN，100的时候等同于MAX
+```
+
+LAST_ROW
+```
+SELECT LAST_ROW(field_name) FROM {tb_name | stb_name}
+
+返回表或超级表的最后一条记录，与last函数不同，last_row不支持时间范围限制，强制返回最后一条记录
+```
+
+DIFF
+```
+SELECT DIFF(field_name) FROM tb_name [WHERE clause]
+
+统计表中某列的值与前一行对应值的差，不能应用在timestamp, binary, nchar, bool类型
+```
+
+SPREAD
+```
+SELECT SPREAD(field_namne) FROM {tb_name | stb_name}[WHERE clause]
+
+统计超级表或表中某列的最大值和最小值之差，返回double,不能用在binary, nchar, bool类型，可用于TIEMSTAMP字段表示记录的时间覆盖范围
+```
+
+四则运算
+```
+SELECT field_name [+|-|*|/|%][value | field_name] from {tb_name | stb_name} [WHERE clause]
+
+统计表或超级表中某列或多列的计算，不能用在timestamp, binary, nchar, bool类型，支持两列或多列之间计算，使用括号表示优先级，Null字段不参与计算，如果参与计算的某行中保包含null,改行的结果是Null
+```
+
+# 举例
+
+```
+CREATE TABLE tb1(ts timestamp, col1 int, col2 float, col3 binary(50))
+
+SELECT * FROM tb1 WHERE ts >= NOW - 1h
+
+SELECT * FROM tb1 WHERE ts > '2018-06-01 08:00:00.000' AND ts <= '2018-06-02 08:00:00.000' AND col3 LIKE `%nny` ORDER BY ts DESC
+
+SELECT (col1 + col2) AS `complex` FROM tb1 WHERE ts > '2018-06-01 08:00:00.000' AND col2 > 1.2 LIMIT 10 OFFSET 5
+
+SELECT COUNT(*) FROM tb1 WHERE ts >= NOW - 10m AND col2 > 3.14 >> /home/testoutpu.csv
+```
+  
+
+# 时间维度聚合
+
+按照时间切割再聚合，比如温度传感器每秒采集一次数据，徐查询每隔10分钟温度的平均值。
+
+```
+SELECT function_list FROM tb_name
+    [WHERE where_condition]
+    INTERVAL(interval)
+    [FILL ({None | VALUE | PREV | NULL | LINEAR})]
+
+SELECT function_list FROM stb_name
+    [WHERE where_condition]
+    [GTOUP BY tags]
+    [FILL ({VALUE | PREV | NULL | LINEAR})]
+```
+
+- 聚合时间段由INTERVAL指定，最短时间10毫秒，10a
+- 仅限于单个输出的函数：count, avg, sum, stddev, leastsquares, percentile, min, max, first, last不能用于多行输出函数比如top, bottom, diff和四则运算
+- WHERE语句指定查询的起止时间和过滤条件
+- FILL语句指定某一时间数据确实情况下的填充模式。NONE，也是默认的方式，不填充；VALUE,固定值填充;NULL，使用NULL值填充；PREV，使用上一个非NULL值填充数据
+- 使用FILL时候，务必指定查询的时间区间，针对每次查询系统可返回不超过1千万条结果
+- 在实践维度聚合中，返回的结果中时间序列严格单调递增
+- 如果查询对象是超级表，则聚合函数会作用于该超级表下满足值过滤条件的所有表。如果查询中没有group by语句，则返回的结果按照该时间序列严格单调递增。如果查询中使用了group by语句分组，则返回结果中每个group内部按照时间序列严格单调递增。
+
+```
+create table sensor(ts timestamp, degree double, pm25 smallint)
+
+SLECT AVG(degree), MAX(degree), LEASTSQUARES(degree), PERCENTILE(degree, 50) FROM sensor
+    WHERE TS>=now -1d //过去20小时
+    INTERVAL(10M) //以10分钟为一个阶段
+    FILL(PREV);
+```
+
+# 超级表STable
+
+对单个采集点单独建表导致表数量增加，如何对这些表进行聚合、统计呢？引入STable。
+
+> 什么是超级表STable
+
+- 同类型数据采集点的抽象
+- 包含多长数据结构一样的字表
+- STable为其子表定义了表结构和一组标签。表结构就是表中记录的数据列及其数据类型。标签名也由STable定义，标签值记录每个子表的静态信息，用于对子表进行分组过滤。
+- 子表本质上就是普通的表，由一个时间戳和若干数据列组成
+- 子表与普通表的区别在于每个子表从属于一张超级表，并带有一组STable定义的标签值
+- 每种类型的采集设备可以定义一个STable。比如定义表的每列的数据类型，比如温度、电压、电流。标签信息属于Meta Data,如采集设别额序列号、型号、位置等是静态的。用户在创建表时指定Stable，还可以指定标签的值，也可以事后增加或修改。
+
+```
+create table thermometer (ts timestamp, degree float) tags (location binary(20), type int)
+
+create table t1 using thermometer tags ('beijing', 10)
+```
+
+- 可以使用STable创建数量无上限的、具有不同标签的表
+- STable就是具有相同数据模型，不同标签的表的集合
+- 将标签数据和采集的动态数据完全分离，对标签建立了高性能内存索引结构
+- 一个库可以有多个STable, 一个STable有多个子表
+
+> 超级表管理
+
+- 创建超级表：`CREATE TABLE <stable_name> (<field_name> TIMESTAMP, field_name1 field_type,...) TAGS (tag_name tag_type)`,TAGS的总长度不能超过512字节，数据类型不能是timestamp和nchar，不能与其它列名想听，不能为预留关键字
+- 显示已创建的超级表:`show stables;`
+- 删除超级表：`DROP TABLE <stable_name>`,删除超级表的前提要求先删除所有的子表
+- 查看属于某个超级表并满足条件的子表：`SELECT TBNAME,[TAG_NAME,…] FROM <stable_name> WHERE <tag_name> <[=|=<|>=|<>] values..> ([AND|OR] …)`
+- 查看属于某个超级表并满足查询条件的表，TBNAME为关键字：`SELECT COUNT(TBNAME) FROM <stable_name> WHERE <tag_name> <[=|=<|>=|<>] values..> ([AND|OR] …)`
+  
+> 写数据时自动创建子表
+
+当定义好了超级表，在写数据的时候并不知道某个设备是否存在，可以采用自动创建子表，需要注意的是超级表是不能创建的。
+
+```
+INSERT INTO <tb_name> USING <stb_name> TAGS (<tag1_value>,...) VALUES (field_value,...)(field_value,...)...
+```
+
+对多个超级表下的子表创建。
+
+```
+INSERT INTO <tb1_name> USING <stb1_name> TAGS (<tag1_value1>, ...) VALUES (<field1_value1>,...)(<field1_value2>,...)...<tb_name2> USING <stb_name2> TAGS(<tag1_value2>,...) VALUES (<field1_value1>,...)
+```
+
+> TAG管理
+
+- 添加新的标签：`ALTER TABLE <stable_name> ADD TAG <new_tag_name> <TYPE>`,标签总数不能超过6个
+- 删除标签：`ALTER TABLE <stable_name> DROP TAG <tag_name>`,第一列标签不能删除，至少保留一个标签，从超级表删除某个标签后，其下的所有子表也会自动删除标签
+- 修改标签名：`ALTER TABLE <stable_name> CHANGE TAG <old_tag_name> <new_tag_name>`,其下所有子表的标签名也会改变
+- 修改子表的标签值：`ALTER TABLE <table_name> SET TAG <tag_name>=<new_tag_value>`
+
+> 多表聚合
+
+通过TAG值进行条件过滤，暂不支持针对binary类型的模糊匹配过滤。
+```
+SELECT function<field_name>,… 
+ FROM <stable_name> 
+ WHERE <tag_name> <[=|<=|>=|<>] values..> ([AND|OR] …)
+ INTERVAL (<time range>)
+ GROUP BY <tag_name>, <tag_name>…
+ ORDER BY <tag_name> <asc|desc>
+ SLIMIT <group_limit>
+ SOFFSET <group_offset>
+ LIMIT <record_limit>
+ OFFSET <record_offset>
+```
+
+- 支持的函数：sum, count, avg, first, last, min, max, top, bottom
+- 针对全部或部分列的投影操作
+- 暂不支持其它类型的聚合计算和四则运算
+- 不支持嵌套
+- 不使用GROUP BY会对满足筛选条件的子表按时间聚合，按照时间戳单调递增输出
+- 使用`ORDER BY _c0 ASC | DESC`对时间戳升序或降序
+- 使用GROUP BY，按tags进行分组，组间的排序由ORDER BY指定，每个组内，按时间单调递增
+- 使用SLIMIT/SOFFSET指定组间分页。使用LIMIT/OFFSET指定组内分页。
+
+> 举例
+
+```
+创建超级表：
+CREATE TABLE thermometer (ts timestamp, degree double) TAGS(location binary(20), type int)
+
+每个采集点一张表：
+CREATE TABLE term1 USING thermometer TAGS('beijing',1);
+CREATE TABLE therm2 USING thermometer TAGS('beijing',2);
+CREATE TABLE therm3 USING thermometer TAGS('tianjin',1);
+CREATE TABLE therm4 USING thermometer TAGS('shanghai',3);
+
+写入数据
+INSERT INTO therm1 VALUES ('2018-01-01 00:00:00.000',20);
+INSERT INTO therm2 VALUES ('2018-01-01 00:00:00.000',21);
+INSERT INTO therm3 VALUES ('2018-01-01 00:00:00.000',22);
+INSERT INTO therm4 VALUES ('2018-01-01 00:00:00.000',23);
+
+按标签聚合查询
+SELECT COUNT(*),AVG(degree), MAX(degree), MIN(degree)
+FROM thermoter
+WHERE location='beijing' or location='tianjing'
+GROUP BY location, type
+
+按时间周期聚合查询
+SELECT COUNT(*),AVG(degree), MAX(degree), MIN(degree)
+FROM thermometer
+WHERE name<>'beijing' and ts>now-1d
+INTEERVAL(10M)
+GROUPBY location,type
+```
+
+# 高级功能
+
+> 连续查询Continuoous Query
+
+- 定期自动执行
+- 滑动窗口的方式进行计算
+- 简化的、时间驱动的流式计算
+- 针对库中的表或超级表
+- 可以让TDengine推送查询结果，或者将结果写回到TDengine中
+- 每次执行的查询是一个时间窗口time window，时间窗口随着时间流动向前滑动
+- 定义时间窗口的大小interval,每次前向增量时间forward sliding times
+- 使用TAOS SQL定义
+- 采用时间驱动的模式
+- 催原始采集数据进行采样down sampling
+- 不同于其它流式计算实时反馈结果，连续查询只在时间窗口关闭以后才计算反馈结果。比如时间窗口周期是1天，那么反馈结果是在23：59：59秒以后才生成反馈结果
+- 反馈的结果有一个时间区间，如果此时有历史记录再写入到这个时间区间，连续查询不会重新执行，不会重新将结果推送给用户，不会更新已存在的计算结果
+- 服务端并不缓存客户端的计算状态，如果应用端崩溃，再次拉起的连续查询将只会从最接近的时间窗口开始计算；如果使用写回模式，TDengine可以确保写回的有效性和连续性。
+- 是在应用端启动连续查询的
+
+```
+SELECT COUNT(*) 
+FROM FOO_TABLE
+INTERVAL(1M) SLIDING(30S)
+每一分钟统计一次，前向滑动的时间是30秒。
+
+SELECT COUNT(*)
+FROM FOO_TABLE
+INTERVAL(1M)
+每一分钟统计一次，前向滑动的时间是一分钟
+
+注意：
+前向滑动时间不能大于时间窗口的范围，如果大于了，系统将强制设置为时间窗口的范围。
+```
+
+将连续查询的结果写回到数据库中：
+```
+CREATE TABLE QUERY_RES
+    AS
+    SELECT COUNT(*)
+    FROM FOO_TABLE
+    INTERVAL(1M) SLIDING(30S)
+```
+
+默认如果不输入结束时间，连续查询会一直进行下去。还可以指定结束时间：
+```
+CREATE TABLE QUERY_RES
+    AS
+    SELECT COUNT(*)
+    FROM FOO_TABLE
+    WHERE TS > NOW AND TS <= NOW + 1H
+    INTERVAL(1M) SLIDING(30S)
+```
+
+查看系统中全部运行的连续查询
+```
+show streams
+```
+
+杀掉对应的连续查询
+```
+kill stream
+```
+
+**在写回模式中，如果把写回的表删除，连续查询也会自动停止**。
+
+> 数据订阅Publisher/Subscriber
+
+- 每一张表可视作一个标准的消息队列
+- 支持轻量级的消息订阅与推送服务
+- 使用系统提供的API，用户可以订阅数据库中的某一张表或超级表
+- 订阅的逻辑和操作状态的维护均由客户端完成
+- 客户端定时轮询服务器是否有新的记录到达，有新的记录到达就会将结果反馈到客户
+
+启动订阅服务：
+```
+TAOS_SUB *taos_subscribe(char *host, char *user, char *pass, char *db, char *table, int64_t time, int mseconds)
+
+--host: 主机ip地址
+--user: 数据库登录用户名
+--pass: 密码
+--db: 数据库名称
+--table: 超级表或表的名称
+--time: 启动时间，Unix Epoch，单位为毫秒，从1970年1月1日起计算的毫秒数，如果设置为0表示从当前时间开始订阅
+--mseconds: 查询数据库更新的时间间隔，单位为毫秒，一般设置为1000毫秒。返回值为指向TDengine_SUB结构的指针，如果返回为空，表示失败
+```
+
+获取订阅结果。用户应用程序置于一个无限循环语句，如果数据库表有新纪录到达，该API将放回最新的记录，如果没有新的记录该API将阻塞，如果返回值为空说明系统出错。
+```
+TASOS_ROW taos_consume(TAOS_SUB *tsub)
+
+--tsub: taos_subscribe的结构体指针
+```
+
+取消订阅。应用程序退出时，务必调用此函数以避免资源泄露。
+```
+void taos_unsubscribe(TAOS_SUB *tsub)
+```
+
+获取返回的一行记录中数据包含多少列。
+```
+int taos_num_subfields(TAOS_SUB *tsub)
+```
+
+获取每列数据的属性(数据类型、名字、长度)。
+```
+TAOS_FIELD *taos_fetch_subfields(TASO_SUB *tsub)
+```
+
+> 缓存Cache
+
+- 时间驱动缓存策略First-In-First-Out, FIFO
+- 写驱动的缓存管理机制，和读驱动的缓存模式Least-Recent-Use, LRU不一样
+- 最近写入的数据保存在缓存中，当缓存达到临界值时，将最早的数据批量写入磁盘
+- 获取数据实际就是从缓存中获取，并且是毫秒级的
+- 可以将TDengine当作缓存来使用
+- TDengine重启以后系统的缓存将被清空，之前的缓存数据均会被写入磁盘，缓存数据将不会像专门的key-value缓存系统那样再将之前的缓存数据重新加载到缓存中
+- TDengjine会分配固定大小的内存空间作为缓存空间
+- 每个vnode都有其独立的缓存池，不同的vnode不共享缓存池
+- 每个vnode里面的表共享该vnode的缓存池
+- 缓存的大小由缓存块的大小和数量相关，cacheBlockSize定义每个缓存块的大小，cacheNumOfBlocks定义每个vnode中可以缓存块的数量，TDengine要求每张表至少有2个缓存块可供使用，因此cacheNmOfBlocks的数值不应该小于vnode结点中所包含表数量的两倍
+
+获取一张表或超级表的最后一条记录
+```
+select last_row(degree) from thermometer where location='beijing'
+```
+
+# RESTful Connection
+
+通过HTTP方式进行。
+
+```
+http://<ip>:<PORT>/rest/sql
+http://192.168.0.1:6020/rest/sql
+
+-- IP: 集群中的任一台主机
+-- PORT：配置文件中的httpPort，默认值是6020
+-- Headler里带身份认证信息，单机版仅致辞Basic认证机制
+-- BODY里是一个完整的SQL语句，SQL语句中的数据表应该提供数据库前缀，否则系统会返回错误
+```
+
+请求：
+```
+curl -H 'Authorization:Basic <TOKEN>' -d '<SQL>' <ip>:<PORT>/rest/sql
+
+或
+
+curl -u username:password -d '<SQL>' <ip>:<PORT>/
+
+TOKEN为{username}:{password}经过Base64编码之后的字符串
+```
+
+返回格式：
+```
+{
+    "status": "succ",
+    "head": ["column1","column2", …],
+    "data": [
+        ["2017-12-12 23:44:25.730", 1],
+        ["2017-12-12 22:44:25.728", 4]
+    ],
+    "rows": 2
+} 
+```
+
+# 系统管理
+
+> 练手
+
+根用户
+```
+-- 进入根用户： sudo su
+-- 退出根用户： exit
+```
+
+根目录
+```
+--来到根目录： cd /
+--退出控制台：exit
+```
+
+vi练习
+```
+--列出目录：ls
+--进入test目录： cd test
+--vi打开文件：vi hello.txt
+--决定光标的位置：
+    方向：h,j,k,l 
+    行首：b
+    行尾：w
+    下面一行：o
+    上面一行：O
+    段首：{
+    段尾：}
+--决定插入的位置：
+    选择光标前后插入：i,a
+    选择光标所在行行首行尾插入：i,A
+--退出编辑：esc
+--保存并退出：:wq!
+--不保存并退出：:q!
+
+```
+
+> 文件目录结构
+
+/etc/taos/taos.cfg 配置文件
+```
+-- cd /
+-- cd etc/taos
+```
+
+/usr/local/taos/driver 动态链接库目录
+```
+-- cd /
+-- cd usr/local/taos/driver
+```
+
+/var/lib/taos 数据文件默认目录
+```
+--cd /
+--cd var/lib/taos
+```
+
+/var/log/taos 日志文件目录
+```
+--cd /
+--cd var/log/taos
+```
+
+/usr/local/taos/bin 可执行文件目录
+```
+--cd /
+--cd usr/local/taos/bin
+
+taos:shell可执行文件
+taosd:服务端可执行文件
+taosdump:数据导出工具
+rmtaos:卸载
+```
+
+> 服务端配置
+
+在/etc/taos/taos.cfg配置,配置完成后需要重启taosd服务才能生效。
+
+指定配置文件的目录：
+```
+taosd -c /home/user
+```
+
+查看taos.cfg文件：
+```
+-- cd /
+-- cd etc/taos
+-- ls
+-- cat taos.cfg
+```
+
+配置详解：
+
+- internalIp:对外提供服务的ip地址
+- mgmtShellPort:管理结点与客户端通信使用的TCP/UDP端口号，默认6030，6030-6034端口被UDP占用，6030端口被TCP占用
+- vnodeShellPort:数据节点与客户端通信使用的TCP/UDP端口号，默认6035，6035-6039端口被UDP占用，6035端口被UDP占用
+- httpPort:数据结点对外提供RESTful服务使用的TCP端口号，默认6020
+- dataDir:数据库文件目录，默认/var/lib/taos
+- maxUsers:用户最大数量
+- maxDbs:数据库最大数量
+- maxTables:数据表最大数量
+- enableMonitor:系统检测，0关闭，1打开
+- logDir:日志文件目录，默认/var/log/taos
+- numOfLogLines:日志文件的最大行数
+- debugFlag: 131仅错误和报警信息，135：所有
+- days:一个数据文件覆盖的时间长度，单位是天
+- keep:数据库中保留数据的天数
+- rows:文件块中的记录条数
+- comp:文件压缩标志，0关闭，1一阶段压缩，2阶段压缩
+- ctime:数据从写入内存到写入硬盘的最长时间间隔，单位秒
+- clog:数据提交日志标志，0关闭，1打开
+- tables:每个vnode允许创建表的最大数目
+- cache:内存块的字节数大小
+- tblocks:每张表最大的内存块数
+- ablocks:每张表平均的内存块数
+- precision:时间戳，ms表示毫秒，us表示微秒
+
+创建数据库：
+- 将具有相同特征的表放在一个库里
+- 一个应用有多个库
+- 为每个库配置不同存储参数
+- 客户端通过sql创建的数据库配置参数会覆盖系统配置参数
+```
+create database demo days 10 cache 16000 ablocks 4
+```
+
+> 客户端配置
+
+在/etc/taos/taos.cfg配置，与taosd应用程序共享配置文件。启动taos时，也可以从命令行指定IP地址、端口号、用户名和密码，否则从taos.cfg读取。
+
+为客户端程序taos指定配置文件目录：
+```
+taos -c /home/cfg
+```
+
+参数详解：
+
+- masterIP:客户端默认发起请求的服务器IP地址
+- charset:指明客户端所使用的字符集，默认UTF-8,TDengine存储nchar类型数据时使用unicode存储，因此客户端需要告知服务自己所使用的字符集，即客户端所在系统的字符集
+- locale:设置系统语言环境，linux上客户端与服务端共享
+- defautlUser:默认登录用户，默认值root
+- defaultPass:默认登录密码，默认值taosdata
+
+> 用户管理
+
+- 创建用户：`CREATE USER user_name PASS 'password'`
+- 删除用户：`DROP USER user_name`,root用户使用
+- 修改用户密码：`ALTER USER user_name PASS 'password'`
+- 显示所有用户：`SHOW USERS`
+
+> 数据导入
+
+- 通过脚本文件导入：在文件中写好sql语句，每行一条，#表示注释
+- 从csv文件导入，每个csv文件属于一张表且格式和需要导入表的结构相同
+
+```
+insert into tb1 file a.csv b.csv tb2 c.csv ...
+import into tb1 file a.csv b.csv tb2 c.csv ...
+```
+
+> 数据导出
+
+- 按表导出csv文件，如果用户需要到处一个表或者一个STable表中的数据，可在shell中运行
+```
+select * from <tb_name> >> a.csv
+```
+
+- 用taosdump导出数据,通过`taosdump --help`获取更详细的用法说明
+```
+--导出数据库中一张或多张表：taosdump [OPTION...] dbname tbname ...
+--导出一个或多个数据库：taosdump [OPTION...] --database dbname...
+--导出所有数据库(不含监控数据库): taosdump [OPTION...] --all-databases
+```
+
+> 系统连接、任务查询关系
+
+正在进行的查询、流式计算，查看连接：
+```
+SHOW CONNECTIONS
+```
+
+强制关闭数据库连接：
+```
+KILL CONNECTION <connection-id>
+```
+
+显示数据查询：
+```
+SHOW QUERIES
+```
+
+强制关闭数据查询：
+```
+KILL QUERY <query-id>
+```
+
+显示流式计算：
+```
+KILL STREAM <stream-id>
+```
+
+> 系统监控
+
+- TDengine启动后会自动创建一个监测数据库SYS，并自动将服务器的CPU，内存，硬盘空间，带宽，请求数，磁盘读写速度，慢查询等信息定时写入该数据库
+- TDengine还将重要的系统操作，比如登录、创建、删除数据库等日志及各种错误报警信息记录下来存放在SYS库里
+- 通过CLI或者WEB图形界面查看监测信息
+- 监测信息的采集默认是打开的，单可以通过修改配置文件中的enableMonitor来修改
+
+# 连接数据库实战
+
+- 数据库ip: 192.168.8.129

实践/数据库/TDengine安装.md

@@ -103,4 +103,15 @@ failed to connect to server
 show databases;
 use test;
 select * from t;
+```
+
+-其它连接时采用的
+
+```
+--查看当前的ip:ifconfig, 当前ip为：192.168.8.110
+--sudo su
+--cd /
+--cd etc/taos
+--vi taos.cfg
+--把internalIp改成110
 ```