参考文章

1 Spring-Kafka快速入门

在 Spring 生态中，提供了 Spring-Kafka 项目，让我们更简便的使用 Kafka 。其官网介绍如下：

The Spring for Apache Kafka (spring-kafka) project applies core Spring concepts to the development of Kafka-based messaging solutions.
Spring for Apache Kafka (spring-kafka) 项目将 Spring 核心概念应用于基于 Kafka 的消息传递解决方案的开发。

It provides a “template” as a high-level abstraction for sending messages.
它提供了一个“模板”作为发送消息的高级抽象。

It also provides support for Message-driven POJOs with @KafkaListener annotations and a “listener container”.
它还通过 @KafkaListener 注解和“侦听器容器(listener container)”为消息驱动的 POJO 提供支持。

These libraries promote the use of dependency injection and declarative.
这些库促进了依赖注入和声明的使用。

In all of these cases, you will see similarities to the JMS support in the Spring Framework and RabbitMQ support in Spring AMQP.
在所有这些用例中，你将看到 Spring Framework 中的 JMS 支持，以及和 Spring AMQP 中的 RabbitMQ 支持的相似之处。

• 注意，Spring-Kafka 是基于 Spring Message 来实现 Kafka 的发送端和接收端。

参考文章

一 概述

1 kafka特点

Kafka 最早是由 LinkedIn 公司开发一种分布式的基于发布/订阅的消息系统，之后成为 Apache 的顶级项目。主要特点如下：

1.1 同时为发布和订阅提供高吞吐量

Kafka 的设计目标是以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对TB 级以上数据也能保证常数时间的访问性能。即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条消息的传输。

1.2 消息持久化

将消息持久化到磁盘，因此可用于批量消费，例如 ETL 以及实时应用程序。通过将数据持久化到硬盘以及 replication 防止数据丢失。

1.3 分布式

支持 Server 间的消息分区及分布式消费，同时保证每个 partition 内的消息顺序传输。这样易于向外扩展，所有的producer、broker 和 consumer 都会有多个，均为分布式的。无需停机即可扩展机器。

参考资料

一 添加业务指标

在原有项目的基础上添加一个 PrometheusCustomMonitor 类。在这里面定义了两个个业务指标：

• order_request_count：下单总次数
• order_amount_sum：下单总金额

参考资料

一 Spring监控机制

在 Spring 2.x 之前，SpringBoot 使用 Actuator 模块进行监控，而在 Spring 2.x 之后，SpringBoot 使用了 Micrometer 进行监控。

Spring Boot Actuator 模块提供了生产级别的功能，比如健康检查，审计，指标收集，HTTP 跟踪等，帮助我们监控和管理 Spring Boot 应用。这个模块是一个采集应用内部信息暴露给外部的模块，上述的功能都可以通过 HTTP 和 JMX 访问。

在 Spring 2.x 之后，Actuator 使用 Micrometer 与这些外部应用程序监视系统集成。这样一来，只需很少的配置即可轻松集成外部的监控系统。

Micrometer 为 Java 平台上的性能数据收集提供了一个通用的 API，应用程序只需要使用 Micrometer 的通用 API 来收集性能指标即可。Micrometer 会负责完成与不同监控系统的适配工作。这就使得切换监控系统变得很容易。

简单地说，actuator 是真正去采集数据的模块，而 Micrometer 更像是一个适配器，将 actuator 采集到的数据适合给各种监控工具。

二 Spring Actuator Demo

添加如下依赖

参考文章

一 下载 JMX

Java 应用的指标一般是通过 JMX（Java Management Extensions） 来获取的，顾名思义，JMX 是管理 Java 的一种扩展，它可以方便的管理和监控正在运行的 Java 程序。

JMX Exporter 用于收集 JMX 指标，很多使用 Java 的系统，都可以使用它来收集指标，比如：Kafaka、Cassandra 等。

首先下载 JMX Exporter：

一 nginx-module-vts模块的编译

nginx_vts_exporter依赖nginx-module-vts模块

进入nginx安装路径下载源码

1

git clone git://github.com/vozlt/nginx-module-vts.git

同时准备好nginx源码

进入nginx源码目录并增加第三方模块进入

1

./configure --prefix=/usr/local/nginx --with-http_stub_status_module  --with-http_ssl_module --add-module=/usr/local/nginx/nginx-module-vts

一 安装启动 mysql_exporter

mysqld_exporter 是 Prometheus 官方提供的一个 exporter，我们首先 下载最新版本。

首先为 mysqld_exporter 创建一个单独的用户，并赋予它受限的权限（PROCESS、REPLICATION CLIENT、SELECT），限制它的最大连接数（MAX_USER_CONNECTIONS）。

1
2

CREATE USER 'mysql_exporter'@'localhost' IDENTIFIED BY '*******' WITH MAX_USER_CONNECTIONS 3;
GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'mysql_exporter'@'localhost';

mysqld_exporter 需要连接到 mysqld 才能收集它的指标，可以通过两种方式来设置 mysqld 数据源。第一种是通过环境变量 DATA_SOURCE_NAME，这被称为 **DSN（数据源名称）**，它必须符合 DSN 的格式，一个典型的 DSN 格式像这样：user:password@(host:port)/。

1

$ export DATA_SOURCE_NAME='root:123456@(192.168.0.107:3306)/'``$ ./mysqld_exporter

另一种方式是通过配置文件，默认的配置文件是 ~/.my.cnf，或者通过 --config.my-cnf 参数指定：

1

$ ./mysqld_exporter --config.my-cnf=".my.cnf"

这里选择使用配置文件，内容如下：

一 安装运行 Prometheus 服务端

参考：Prometheus学习笔记(一)：Prometheus入门Demo | 大头的博客

二 运行 NodeExporter 客户端数据源

NodeExporter 是 Prometheus 提供的一个可以采集到主机信息的应用程序，它能采集到机器的 CPU、内存、磁盘等信息。

从 https://prometheus.io/download/ 获取最新的 Node Exporter 版本的二进制包。

下载解压后运行 Node Exporter，指定用 9092 端口运行:

参考文章

一 简介

PromQL（Prometheus Query Language）是 Prometheus 内置的数据查询语言，它能实现对事件序列数据的查询、聚合、逻辑运算等。它并且被广泛应用在 Prometheus 的日常应用当中，包括对数据查询、可视化、告警处理当中。

简单地说，PromQL 广泛存在于以 Prometheus 为核心的监控体系中。所以需要用到数据筛选的地方，就会用到PromQL。例如：监控指标的设置、报警指标的设置等等。

二 基础用法

当Prometheus通过Exporter采集到相应的监控指标样本数据后，我们就可以通过PromQL对监控样本数据进行查询。

在expression browser中输入监控指标prometheus_http_requests_total并执行:

官方文档

一 简介

Prometheus是一个开源监控系统，它前身是SoundCloud的警告工具包。从2012年开始，许多公司和组织开始使用Prometheus。该项目的开发人员和用户社区非常活跃，越来越多的开发人员和用户参与到该项目中。目前它是一个独立的开源项目，且不依赖与任何公司。不一定会使用此系统，但可以吸收优秀开源框架的优点。下面记录Prometheus的入门案例

二 监控自身的Demo案例

下面记录Prometheus的安装配置和使用

1 下载和运行Prometheus

在下载地址选择对应版本，然后解压