云计算服务
服务器租用
DDOS 防护
虚拟主机
域名服务
基础设施
关于我们
今天这篇文章是之前两篇文章的续篇，所以，大家如果直接上来干，干不懂的话，就需要先去了解下之前的两篇文章，虽然跟上两篇文章关联性不是很强，但还是有一定关系。
提示到此结束！
欲看此文，必看如下两篇文章：
Druid支持JSON-over-HTTP和SQL两种查询方式。除了标准的SQL操作外，Druid还支持大量的唯一性操作，利用Druid提供的算法套件可以快速的进行计数，排名和分位数计算。
准备大量数据提供查询,我们插入1万条随机打车数据
http://localhost:8010/taxi/batchTask/100000
我们发现数据摄取进程正在运行，可以等待数据摄取任务结束
Druid 最开始的时候是不支持 SQL 查询的，原生查询是通过查询 Broker 提供的 http server 来实现的5.3.1 查询语法
curl -L -H'Content-Type:application/json' -XPOST --data-binary @<query_json_file> <queryable_host>:<port>/druid/v2/?pretty# 创建查询目录
mkdir query
# 编辑查询的JSON
vi query/filter1.jsonjson 内容如下
{
"queryType":"timeseries",
"dataSource":"message",
"granularity":"month",
"aggregations":[
{
"type":"count",
"name":"taxiNum"
}
],
"filter":{"type":"selector","dimension":"status","value":1},
"intervals":["2021-06-07/2022-06-07"]
}在命名行中执行下面的命令会将查询json发送到对应的broker中进行查询--data-binary指定的查询json的路径curl -L -H 'Content-Type:application/json' -XPOST --data-binary @query/filter1.json http://192.168.64.177:8082/druid/v2/?pretty我们查询了每个月发起打车的人数有多少
druid查询采用的是HTTP RESTFUL方式，REST接口负责接收客户端的查询请求，客户端只需要将查询条件封装成JSON格式，通过HTTP方式将JSON查询条件发送到broker节点，查询成功会返回JSON格式的结果数据。了解一下druid提供的查询类型5.4.1 时间序列查询
timeseries时间序列查询对于指定时间段按照查询规则返回聚合后的结果集，查询规则中可以设置查询粒度，结果排序方式以及过滤条件，过滤条件可以使用嵌套过滤，并且支持后聚合。5.4.1.1 查询属性
时间序列查询主要包括7个主要部分
queryTypedataSourcedescendingfalse, 也就是升序排列intervalsgranularityfilteraggregationspostAggregationslimitcontext{
"queryType":"topN",
"dataSource":"taxi_message",
"dimension":"local",
"threshold":2,
"metric":"age",
"granularity":"month",
"aggregations":[
{
"type":"longMin",
"name":"age",
"fieldName":"age"
}
],
"filter":{"type":"selector","dimension":"sex","value":"女"},
"intervals":["2021-06-07/2022-06-07"]
}topn查询是通过给定的规则和显示维度返回一个结果集，topn查询可以看做是给定排序规则，返回单一维度的group by查询，但是topn查询比group by性能更快。metric这个属性是topn专属的按照该指标排序。5.4.2.1 查询属性
topn的查询属性如下
查询每个季度年龄最小的女性的前两个的城市
vi query/topN.json{
"queryType":"topN",
"dataSource":"message",
"dimension":"local",
"threshold":2,
"metric":"age",
"granularity":"quarter",
"aggregations":[
{
"type":"longMin",
"name":"age",
"fieldName":"age"
}
],
"filter":{"type":"selector","dimension":"sex","value":"女"},
"intervals":["2021-06-07/2022-06-07"]
}curl -L -H 'Content-Type:application/json' -XPOST --data-binary @query/topN.json http://192.168.64.177:8082/druid/v2/?pretty
在实际应用中经常需要进行分组查询，等同于sql语句中的Group by查询，如果对单个维度和指标进行分组聚合计算，推荐使用topN查询，能够获得更高的查询性能，分组查询适合多维度，多指标聚合查询5.4.5.1 查询属性
下表内容为一个GroupBy查询的主要部分：
每一季度统计年龄在21-31的男女打车的数量
vi query/groupBy.json{
"queryType":"groupBy",
"dataSource":"taxi_message",
"granularity":"Quarter",
"dimensions":["sex"],
"aggregations":[
{
"type":"count",
"name":"taxiNum"
}
],
"filter":{
"type":"bound",
"dimension":"age",
"lower":"21",
"upper":"31",
"alphaNumeric":true
},
"intervals":["2021-06-07/2022-06-07"]
}curl -L -H 'Content-Type:application/json' -XPOST --data-binary @query/groupBy.json http://192.168.64.177:8082/druid/v2/?pretty
在介绍具体的查询之前，我们先来了解一下各种查询都会用到的基本组件，如Filter,Aggregator,Post-Aggregator,Query,Interval等，每种组件都包含很多的细节5.5.1 Filter
Filter就是过滤器，在查询语句中就是一个JSON对象，用来对维度进行筛选和过滤，表示维度满足Filter的行是我们需要的数据，类似sql中的where字句。Filter包含的类型如下：5.5.1.1 选择过滤器
Selector Filter的功能类似于SQL中的where key=value,它的json示例如下"Filter":{"type":"selector","dimension":dimension_name,"value":target_value}使用案例
vi query/filter1.json{
"queryType":"timeseries",
"dataSource":"taxi_message",
"granularity":"month",
"aggregations":[
{
"type":"count",
"name":"taxiNum"
}
],
"filter":{"type":"selector","dimension":"status","value":1},
"intervals":["2021-06-07/2022-06-07"]
}Regex Filter 允许用户使用正则表达式进行维度的过滤筛选，任何java支持的标准正则表达式druid都支持，它的JSON格式如下：
"filter":{"type":"regex","dimension":dimension_name,"pattern":regex}使用案例，我们搜索姓名包含数字的的用户进行聚合统计
vi query/filter2.json{
"queryType":"timeseries",
"dataSource":"taxi_message",
"granularity":"month",
"aggregations":[
{
"type":"count",
"name":"taxiNum"
}
],
"filter":{"type":"regex","dimension":"username","pattern":"[0-9]{1,}"},
"intervals":["2021-06-07/2022-06-07"]
}执行查询
curl -L -H 'Content-Type:application/json' -XPOST --data-binary @query/filter2.json http://192.168.64.177:8082/druid/v2/?pretty
Logincal Expression Filter包含and,not,or三种过滤器，每一种都支持嵌套，可以构建丰富的逻辑表达式，与sql中的and,not,or类似，JSON表达式如下：
"filter":{"type":"and","fields":[filter1,filter2]}
"filter":{"type":"or","fields":[filter1,filter2]}
"filter":{"type":"not","fields":[filter]}使用案例，我们查询每一个月，进行打车并且是女性的数量
vi query/filter3.json{
"queryType":"timeseries",
"dataSource":"taxi_message",
"granularity":"month",
"aggregations":[
{
"type":"count",
"name":"taxiNum"
}
],
"filter":{
"type":"and",
"fields":[
{"type":"selector","dimension":"status","value":1},
{"type":"selector","dimension":"sex","value":"女"}
]
},
"intervals":["2021-06-07/2022-06-07"]
}进行数据查询
curl -L -H 'Content-Type:application/json' -XPOST --data-binary @query/filter3.json http://192.168.64.177:8082/druid/v2/?pretty
In Filter类似于SQL中的in， 比如 where username in('zhangsan','lisi','zhaoliu')，它的JSON格式如下：
{
"type":"in",
"dimension":"local",
"values":['四川省','江西省','福建省']
}使用案例，我们查询每一个月，在四川省、江西省、福建省打车的人数
vi query/filter4.json{
"queryType":"timeseries",
"dataSource":"taxi_message",
"granularity":"month",
"aggregations":[
{
"type":"count",
"name":"taxiNum"
}
],
"filter":{
"type":"in",
"dimension":"local",
"values":["四川省","江西省","福建省"]
},
"intervals":["2021-06-07/2022-06-07"]
}进行数据查询
curl -L -H 'Content-Type:application/json' -XPOST --data-binary @query/filter4.json http://192.168.64.177:8082/druid/v2/?pretty
Bound Filter是比较过滤器，包含大于，等于，小于三种，它默认支持的就是字符串比较，是基于字典顺序，如果使用数字进行比较，需要在查询中设定alpaNumeric的值为true，需要注意的是Bound Filter默认的大小比较为>=或者<=，因此如果使用<或>,需要指定lowerStrict值为true，或者upperStrict值为true,它的JSON格式如下: 21 <=age<=31
{
"type":"bound",
"dimension":"age",
"lower":"21", #默认包含等于
"upper":"31", #默认包含等于
"alphaNumeric":true #数字比较时指定alphaNumeric为true
}使用案例，我们查询每一个月，年龄在21-31之间打车人的数量
vi query/filter5.json{
"queryType":"timeseries",
"dataSource":"taxi_message",
"granularity":"month",
"aggregations":[
{
"type":"count",
"name":"taxiNum"
}
],
"filter":{
"type":"bound",
"dimension":"age",
"lower":"21",
"upper":"31",
"alphaNumeric":true
},
"intervals":["2021-06-07/2022-06-07"]
}进行数据查询
curl -L -H 'Content-Type:application/json' -XPOST --data-binary @query/filter5.json http://192.168.64.177:8082/druid/v2/?pretty
聚合粒度通过granularity配置项指定聚合时间跨度，时间跨度范围要大于等于创建索引时设置的索引粒度，druid提供了三种类型的聚合粒度分别是：Simple,Duration,Period5.5.2.1 Simple的聚合粒度
all：会将起始和结束时间内所有数据聚合到一起返回一个结果集，none：按照创建索引时的最小粒度做聚合计算，最小粒度是毫秒为单位，不推荐使用性能较差；minute：以分钟作为聚合的最小粒度；fifteen_minute：15分钟聚合；thirty_minute：30分钟聚合hour：一小时聚合day：天聚合month：月聚合Quarter：季度聚合year：年聚合Simple的聚合粒度通过druid提供的固定时间粒度进行聚合，以字符串表示，定义查询规则的时候不需要显示设置type配置项，druid提供的常用Simple粒度：
all,none,minute,fifteen_minute,thirty_minute,hour,day,month,Quarter（季度）,year；
编写测试，我们这里按照季度聚合，并且我们过滤年龄是21-31的数据，并且按照地域以及性别进行分组
vi query/filter6.json{
"queryType":"groupBy",
"dataSource":"taxi_message",
"granularity":"Quarter",
"dimensions":["local","sex"],
"aggregations":[
{
"type":"count",
"name":"taxiNum"
}
],
"filter":{
"type":"bound",
"dimension":"age",
"lower":"21",
"upper":"31",
"alphaNumeric":true
},
"intervals":["2021-06-07/2022-06-07"]
}进行查询
curl -L -H 'Content-Type:application/json' -XPOST --data-binary @query/filter6.json http://192.168.64.177:8082/druid/v2/?pretty
duration聚合粒度提供了更加灵活的聚合粒度，不只局限于Simple聚合粒度提供的固定聚合粒度，而是以毫秒为单位自定义聚合粒度，比如两小时做一次聚合可以设置duration配置项为7200000毫秒，所以Simple聚合粒度不能够满足的聚合粒度可以选择使用Duration聚合粒度。
注意：使用Duration聚合粒度需要设置配置项type值为duration
编写测试，我们按照
vi query/filter7.json{
"queryType":"groupBy",
"dataSource":"taxi_message",
"granularity":{
"type":"duration",
"duration":7200000
},
"dimensions":["local","sex"],
"aggregations":[
{
"type":"count",
"name":"taxiNum"
}
],
"filter":{
"type":"bound",
"dimension":"age",
"lower":"21",
"upper":"31",
"alphaNumeric":true
},
"intervals":["2021-06-07/2021-06-10"]
}
数据查询
curl -L -H 'Content-Type:application/json' -XPOST --data-binary @query/filter7.json http://192.168.64.177:8082/druid/v2/?pretty
Period聚合粒度采用了日期格式，常用的几种时间跨度表示方法，一小时：PT1H,一周：P1W，一天：P1D，一个月：P1M；使用Period聚合粒度需要设置配置项type值为period,
编写测试，我们按照一天进行聚合
vi query/filter8.json{
"queryType":"groupBy",
"dataSource":"taxi_message",
"granularity":{
"type":"period",
"period":"P1D"
},
"dimensions":["sex"],
"aggregations":[
{
"type":"count",
"name":"taxiNum"
}
],
"filter":{
"type":"bound",
"dimension":"age",
"lower":"21",
"upper":"31",
"alphaNumeric":true
},
"intervals":["2021-06-07/2021-06-10"]
}数据查询
curl -L -H 'Content-Type:application/json' -XPOST --data-binary @query/filter8.json http://192.168.64.177:8082/druid/v2/?pretty
Aggregator是聚合器，聚合器可以在数据摄入阶段和查询阶段使用，在数据摄入阶段使用聚合器能够在数据被查询之前按照维度进行聚合计算，提高查询阶段聚合计算性能，在查询过程中，使用聚合器能够实现各种不同指标的组合计算。5.5.3.1 公共属性
聚合器的公共属性介绍type：声明使用的聚合器类型；name：定义返回值的字段名称，相当于sql语法中的字段别名；fieldName：数据源中已定义的指标名称，该值不可以自定义，必须与数据源中的指标名一致；5.5.3.2 计数聚合
计数聚合器，等同于sql语法中的count函数，用于计算druid roll-up合并之后的数据条数，并不是摄入的原始数据条数，在定义数据模式指标规则中必须添加一个count类型的计数指标count;
比如想查询Roll-up 后有多少条数据，查询的JSON格式如下
vi query/aggregator1.json{
"queryType":"timeseries",
"dataSource":"taxi_message",
"granularity":"Quarter",
"aggregations":[
{
"type":"count",
"name":"count"
}
],
"filter":{
"type":"bound",
"dimension":"age",
"lower":"21",
"upper":"31",
"alphaNumeric":true
},
"intervals":["2021-06-07/2022-06-07"]
}求和聚合器，等同于sql语法中的sum函数，用户指标求和计算，druid提供两种类型的聚合器，分别是long类型和double类型的聚合器；
第一类就是longSum Aggregator ,负责整数类型的计算，JSON格式如下：
{"type":"longSum","name":out_name,"fieldName":"metric_name"}
第二类是doubleSum Aggregator,负责浮点数计算，JSON格式如下：
{"type":"doubleSum","name":out_name,"fieldName":"metric_name"}
示例
vi query/aggregator2.json{
"queryType":"timeseries",
"dataSource":"taxi_message",
"granularity":"Quarter",
"aggregations":[
{
"type":"longSum",
"name":"ageSum",
"fieldName":"age"
}
],
"filter":{
"type":"bound",
"dimension":"age",
"lower":"21",
"upper":"31",
"alphaNumeric":true
},
"intervals":["2021-06-07/2022-06-07"]
}Druid SQL是一个内置的SQL层，是Druid基于JSON的本地查询语言的替代品，它由基于 Apache Calcite的解析器和规划器提供支持
Druid SQL将SQL转换为查询Broker(查询的第一个进程)上的原生Druid查询，然后作为原生Druid查询传递给数据进程。除了在Broker上 转换SQL) 的（轻微）开销之外，与原生查询相比，没有额外的性能损失。
5.6.1 基本查询5.6.1.1 查询数据总条数可以在druid的控制台进行查询
select count(1) from "taxi_message"
我们可以统计出来当前的打车的人数5.6.2 聚合功能
聚合函数可以出现在任何查询的SELECT子句中。可以使用类似语法过滤任何聚合器 AGG(expr) FILTER(WHERE whereExpr)。过滤的聚合器仅聚合与其过滤器匹配的行。同一SQL查询中的两个聚合器可能具有不同的筛选器。只有COUNT聚合可以接受DISTINCT。
COUNT(*)COUNT(DISTINCT expr)APPROX_COUNT_DISTINCT(expr)。在精确模式下，每个查询只允许一个不同的计数。SUM(expr)MIN(expr)MAX(expr)AVG(expr)APPROX_COUNT_DISTINCT(expr)COUNT(DISTINCT expr)。APPROX_COUNT_DISTINCT_DS_HLL(expr, [lgK, tgtHllType])lgK和tgtHllType参数的HLL草图文档中描述。无论“useApproximateCountDistinct”的值如何，这始终是近似值。另见COUNT(DISTINCT expr)。该DataSketches扩展必须加载使用此功能。APPROX_COUNT_DISTINCT_DS_THETA(expr, [size])size参数在Theta sketch文档中描述。无论“useApproximateCountDistinct”的值如何，这始终是近似值。另见COUNT(DISTINCT expr)。该DataSketches扩展必须加载使用此功能。APPROX_QUANTILE(expr, probability, [resolution])APPROX_QUANTILE_DS(expr, probability, [k])k参数在Quantiles草图文档中描述。该DataSketches扩展必须加载使用此功能。APPROX_QUANTILE_FIXED_BUCKETS(expr, probability, numBuckets, lowerLimit, upperLimit, [outlierHandlingMode])numBuckets，lowerLimit，upperLimit，和outlierHandlingMode参数在固定桶中描述直方图文档。在近似直方图扩展必须加载使用此功能。BLOOM_FILTER(expr, numEntries)expr使用numEntries最大数量的不同值。有关其他详细信息，请参阅bloom filter扩展文档可以在druid的控制台进行查询
select count(1) from "taxi_message"
我们在这里实现SpringBoot+Mybatis实现SQL查询ApacheDruid数据5.7.1 引入Pom依赖
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
</dependency>
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
<version>2.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.calcite.avatica</groupId>
<artifactId>avatica</artifactId>
<version>1.18.0</version>
</dependency>
<dependency>
<groupId>org.apache.calcite.avatica</groupId>
<artifactId>avatica-server</artifactId>
<version>1.18.0</version>
</dependency>
</dependencies>在application.yml中配置数据库的连接信息连接时需注意Druid时区和JVM时区，不设置时区时默认采用JVM时区文档参考地址：https://calcite.apache.org/av...
spring:
datasource:
# 连接池信息
url: jdbc:avatica:remote:url=http://192.168.64.177:8082/druid/v2/sql/avatica/
# 驱动信息
driver-class-name: org.apache.calcite.avatica.remote.Driverpublic class TaxiMessage {
private String __time;
private Integer age;
private Integer createDate;
private String local;
private String sex;
private Integer status;
private String statusText;
private String username;
//setter getter 忽略
@Override
public String toString() {
return "TaxiMessage{" +
"__time='" + __time + '\'' +
", age=" + age +
", createDate=" + createDate +
", local='" + local + '\'' +
", sex='" + sex + '\'' +
", status=" + status +
", statusText='" + statusText + '\'' +
", username='" + username + '\'' +
'}';
}
}
所有字段名、表名必须使用如下方式标识 \"表名\"@Mapper
public interface TaxiMessageMapper {
@Select("SELECT * FROM \"taxi_message\" where username=#{username}")
public TaxiMessage findByUserName(String username);
}@Service
public class TaxiMessageService {
@Autowired
private TaxiMessageMapper taxiMessageMapper;
public TaxiMessage findByUserName(String username) {
return taxiMessageMapper.findByUserName(username);
}
}@SpringBootApplication
@MapperScan(basePackages = "com.heima.druid.mapper")
public class Application {
public static void main(String[] args) {
SpringApplication.run(Application.class);
}
}@RunWith(SpringRunner.class)
@SpringBootTest(classes = Application.class)
public class DruidTest {
@Autowired
private TaxiMessageService taxiMessageService;
@Test
public void test() {
TaxiMessage taxiMessage = taxiMessageService.findByUserName("eFQfLXmXD4");
System.out.println(taxiMessage);
Assert.assertNotNull(taxiMessage);
}
}
本文由
传智教育博学谷教研团队发布。如果本文对您有帮助，欢迎
关注和点赞；如果您有任何建议也可留言评论或私信，您的支持是我坚持创作的动力。转载请注明出处！
.png)
.png)
