性能监控平台搭建 – InfluxDB安装与使用指南

  • 2019 年 10 月 4 日
  • 筆記

InfluxDB是目前比较主流的时序数据库,而时序数据库则是以时间序列为轴的数据库,与关系型数据库相比它有几个特点:

•每条记录都必须有时间戳字段(不设置会自动生成,类似关系型数据库的主键)•提供海量数据的写入和读取能力•提供针对时序的聚合函数,方便查询数据的聚合•没有固定的schema设计

之所时序数据库要被设计成包含这些特性,是因为它天生就是为特定场景业务而生的;主要针对那些写多读少、大量数据写入需求、按时间维度进行聚合查询的业务场景,比如:数据监控。

数据监控方面细分还是可以分出很多的场景;比如:气象数据、天文数据、人口分布、工资水平、运维资源等等,生活中方方面面的行业都可以使用的到,而在时序数据库之前,人们通常都会使用关系型数据库来代替,但显然需要付出更大的代价才能满足需求。

同样的在测试领域中也是有很多的业务数据,可以使用到时序数据库;比如:产品质量数据,性能压测数据、服务器资源数据等等;所以今天就来介绍下如何安装和简单使用时序数据库。后面再分享如何基于时序数据库展示图表。

安装

安装InfluxDB包需要root或是有管理员权限才可以。

YUM安装

对于Centos用户,可以用下面的命令添加InfluxDB的仓库

cat <<EOF | sudo tee /etc/yum.repos.d/influxdb.repo  [influxdb]  name = InfluxDB Repository - RHEL $releasever  baseurl = https://repos.influxdata.com/rhel/$releasever/$basearch/stable  enabled = 1  gpgcheck = 1  gpgkey = https://repos.influxdata.com/influxdb.key  EOF

然后安装、运行InfluxDB服务:

sudo yum install influxdb  sudo service influxdb start

如果你的系统可以使用Systemd(比如Ubuntu 15.04+, Debian 8+),也可以这样启动:

sudo yum install influxdb  sudo systemctl start influxdb

RPM安装

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.7.7-1.x86_64.rpm  rpm -ivh influxdb-1.7.7-1.x86_64.rpm

配置

首先,你可以通过命令influxd config来查看默认配置,而配置文件的路径为:/etc/influxdb/influxdb.conf,想要某个配置项生效则直接取消注释并设置相应值即可。

另外,想要用自定义的配置文件来运行InfluxDB可以有两种方法:

•运行的时候通过可选参数-config来指定:

influxd -config /etc/influxdb/influxdb.conf

•设置环境变量INFLUXDB_CONFIG_PATH来指定,例如:

echo $INFLUXDB_CONFIG_PATH  /etc/influxdb/influxdb.conf  influxd

其中-config的优先级高于环境变量。

操作

安装完成之后,我们再来看看如何访问和使用InfluxDB进行数据操作。默认会提供一个influx命令行工具(原理是发送HTTP请求),它会默认连接本机的InfluxDB服务;当然你也可以通过发送HTTP请求来完成相同的操作。

另外在具体操作之前,我们可以理解下时序数据库与关系型数据库在概念上的差异和对标。具体如下:

关系型数据库

时序数据库

database

database

table

measurement

row

point

index field

tag

field

field

primary key

timestamp

database操作

> influx -precision rfc3339  Connected to http://localhost:8086 version 1.2.x  InfluxDB shell 1.2.x  > CREATE DATABASE mydb  > SHOW DATABASES  name: databases  ---------------  name  _internal  mydb    > USE mydb  Using database mydb    >

可以看到除了第一条命令跟mysql的稍微有点差异,其它的命令跟mysql的如出一辙,这说明在用户友好型方面也是做了考虑,避免大家重复学习无用的内容。

插入记录

> INSERT cpu,host=serverA,region=us_west value=0.64

cpu是measurement(table)的名称;host,region是tag(index field)的名称;value是field的名称;整行则是一个point(row)数据;默认这条记录被存储在当前的database下。

查询记录

> SELECT "host", "region", "value" FROM "cpu"  name: cpu  ---------  time                                     host         region   value  2015-10-21T19:28:07.580664347Z  serverA      us_west     0.64  

这语法跟mysql几乎没有区别,这里主键time是自动生成的,因为插入时没有带。

时序数据库一般只进行CR操作,而UD操作通常很少执行,所以大部分的时候不会涉及到更新和删除语法。

Python接口

上面介绍的操作都是通过InfluxDB自带的influx命令行工具操作的,而在程序化时我们则可以直接通过其HTTP接口来执行同样的操作,下面就介绍如何通过Python来进行InfluxDB的操作。

database操作

import requests  """  数据库查询相关的HTTP请求内容如下:  curl -i -XPOST http://localhost:8086/query --data-urlencode "q=CREATE DATABASE curl"  curl -i -XPOST http://localhost:8086/query --data-urlencode "q=SHOW DATABASES"  """    r = requests.post("http://localhost:8086/query", data={"q": "CREATE DATABASE python"})  print(r.text)  r = requests.post("http://localhost:8086/query", data={"q": "SHOW DATABASES"})  print(r.text)

插入记录

import requests  """  curl -i -XPOST 'http://localhost:8086/write?db=curl' --data-binary 'cpu_load_short,host=server01,region=us-west value=0.64 1434055562000000000'  """    r = requests.post("http://localhost:8086/write?db=python", data=b"cpu_load,host=server01,region=us-west value=0.64 1434055562000000000")  print(r.text)  ## 从文件读取内容写入  with open('influxdata', 'rb') as f:      r = requests.post("http://localhost:8086/write?db=python",                        data=f.read().replace(b'r', b''))      print(r.text)

如果是批量写入的话,那么point数据必须只能以n换行。所以上面有替换了r为空的操作。

查询记录

import requests  """  curl -G 'http://localhost:8086/query?pretty=true' --data-urlencode "db=curl" --data-urlencode "q=SELECT "value" FROM "cpu_load_short" WHERE "region"='us-west'"  """    data = {"db": "python", "q": "SELECT "value" FROM "cpu_load" WHERE "region"='us-west'"}  r = requests.post("http://localhost:8086/query?pretty=true", data=data)  print(r.text)

Python三方库

很显然,像上面这种操作怎么可能没有第三方库呢,所以直接安装第三方库可能是最方便的选择。

pip install influxdb

具体的API使用样例如下:

from influxdb import InfluxDBClient    json_body = [      {          "measurement": "cpu_load",          "tags": {              "host": "server01",              "region": "us-west"          },          "time": "2009-11-10T23:00:00Z",          "fields": {              "value": 0.64          }      }  ]    client = InfluxDBClient('localhost', 8086, 'root', 'root', 'influx')  client.create_database('influx')  client.write_points(json_body)  result = client.query('select value from cpu_load;')  print("Result: {0}".format(result))

总结

关于InfluxDB的简单介绍就到这里,如果想更深层次的了解和使用InfluxDB,可以去官网查阅相关内容。这篇文章仅仅介绍了如何安装InfluxDB本身,而存储数据的本质其实是用于查询和展示,后面会有文章介绍如何与grafana结合并展示图表数据。