国产精品嫩草99av在线_一区在线视频观看_欧美高清一区_欧美 日韩 国产 一区_99精品欧美一区二区三区_久久大香伊蕉在人线观看热2_一色屋精品视频在线观看网站_在线亚洲国产精品网站_亚洲区一区二区三区_你懂的视频一区二区

當(dāng)前位置:首頁 > 科技  > 軟件

從 Pulsar Client 的原理到它的監(jiān)控面板

來源: 責(zé)編: 時(shí)間:2023-08-05 11:44:50 4839觀看
導(dǎo)讀背景前段時(shí)間業(yè)務(wù)團(tuán)隊(duì)偶爾會碰到一些 Pulsar 使用的問題,比如消息阻塞不消費(fèi)了、生產(chǎn)者消息發(fā)送緩慢等各種問題。雖然我們有個(gè)監(jiān)控頁面可以根據(jù) topic 維度查看他的發(fā)送狀態(tài),比如速率、流量、消費(fèi)狀態(tài)等信息。但也有幾

GXm28資訊網(wǎng)——每日最新資訊28at.com

背景

前段時(shí)間業(yè)務(wù)團(tuán)隊(duì)偶爾會碰到一些 Pulsar 使用的問題,比如消息阻塞不消費(fèi)了、生產(chǎn)者消息發(fā)送緩慢等各種問題。GXm28資訊網(wǎng)——每日最新資訊28at.com

雖然我們有個(gè)監(jiān)控頁面可以根據(jù) topic 維度查看他的發(fā)送狀態(tài),比如速率、流量、消費(fèi)狀態(tài)等信息。GXm28資訊網(wǎng)——每日最新資訊28at.com

圖片GXm28資訊網(wǎng)——每日最新資訊28at.com


GXm28資訊網(wǎng)——每日最新資訊28at.com

GXm28資訊網(wǎng)——每日最新資訊28at.com

GXm28資訊網(wǎng)——每日最新資訊28at.com

本文重點(diǎn)不在于此,具體代碼就不仔細(xì)分析了。GXm28資訊網(wǎng)——每日最新資訊28at.com

從上圖可以看出,如果我們想要監(jiān)控消費(fèi)是否存在阻塞的情況,這幾個(gè)內(nèi)部隊(duì)列是需要重點(diǎn)監(jiān)控的,一旦他們出現(xiàn)堆積,那就會出現(xiàn)消費(fèi)阻塞。GXm28資訊網(wǎng)——每日最新資訊28at.com

其實(shí)這些數(shù)據(jù)都可以通過。GXm28資訊網(wǎng)——每日最新資訊28at.com

org.apache.pulsar.client.api.ProducerStatsorg.apache.pulsar.client.api.ConsumerStats

這兩個(gè)接口獲取到生產(chǎn)者和消費(fèi)者的大部分指標(biāo),只是這里還有一個(gè)小插曲。GXm28資訊網(wǎng)——每日最新資訊28at.com

那就是在獲取消費(fèi)者隊(duì)列大小的時(shí)候,獲取到的數(shù)據(jù)一直為空。GXm28資訊網(wǎng)——每日最新資訊28at.com

最終經(jīng)過源碼排查,原來是我們大量使用的 messageListener 在獲取隊(duì)列大小時(shí)有 bug,導(dǎo)致獲取到的數(shù)據(jù)一直都為 0.GXm28資訊網(wǎng)——每日最新資訊28at.com

相關(guān)的 issue 和 PR 可以在這兩個(gè)鏈接查看,問題原因和修復(fù)過程都有具體描述:https://github.com/apache/pulsar/issues/20076 https://github.com/apache/pulsar/pull/20245GXm28資訊網(wǎng)——每日最新資訊28at.com

但這個(gè)修復(fù)得在新版本才能使用,就導(dǎo)致我們現(xiàn)在的監(jiān)控頁面一直顯示為空。GXm28資訊網(wǎng)——每日最新資訊28at.com

開發(fā) SkyWalking 插件

然后就是開發(fā)一個(gè) SkyWalking 的插件了,其實(shí)直接使用 SW 開發(fā)插件是上手 Java-Agent 比較快的方式。GXm28資訊網(wǎng)——每日最新資訊28at.com

SW 的 SDK 封裝了許多 agent 原生接口,使得開發(fā)起來非常容易;當(dāng)然缺點(diǎn)也有,就是得集成整個(gè) SW 的 agent。GXm28資訊網(wǎng)——每日最新資訊28at.com

這里我簡單介紹下這個(gè)插件的運(yùn)行流程:GXm28資訊網(wǎng)——每日最新資訊28at.com

GXm28資訊網(wǎng)——每日最新資訊28at.com

  • 在創(chuàng)建和刪除 consumer 的時(shí)候維護(hù) consumerPool
  • 啟動(dòng)一個(gè)定時(shí)任務(wù),定期從這些 consumer 中獲取指標(biāo)數(shù)據(jù)。

GXm28資訊網(wǎng)——每日最新資訊28at.com

GXm28資訊網(wǎng)——每日最新資訊28at.com

當(dāng)消費(fèi)多分區(qū) topic 時(shí),為了能唯一標(biāo)志一個(gè) consumer,所以給每個(gè)消費(fèi)者都加了一個(gè) hashcode 的 label。GXm28資訊網(wǎng)——每日最新資訊28at.com

因?yàn)槲覀兯械?Java 技術(shù)棧都是使用的 Prometheus 的包來生成 metrics ,所以該插件也是使用該包生成的數(shù)據(jù)。GXm28資訊網(wǎng)——每日最新資訊28at.com

<dependency>    <groupId>io.prometheus</groupId>    <artifactId>simpleclient</artifactId>    <version>0.12.0</version>    <scope>provided</scope>  </dependency>

為了兼容一些特殊 Java 應(yīng)用沒有該包時(shí)會啟動(dòng)報(bào)錯(cuò),所以在初始化插件的時(shí)候需要檢測當(dāng)前 classpath 下是否存在該依賴。GXm28資訊網(wǎng)——每日最新資訊28at.com

GXm28資訊網(wǎng)——每日最新資訊28at.com

這些功能 SW 已經(jīng)封裝好了,對我們來說也是開箱即用。GXm28資訊網(wǎng)——每日最新資訊28at.com

其實(shí) SW 插件自己也是支持 metrics 的,由于我們只是使用了它的 trace 功能,所以這里就沒有使用它的 API。GXm28資訊網(wǎng)——每日最新資訊28at.com

關(guān)于開發(fā)一個(gè) SW 插件的流程也比較簡單,可以參考官方文檔或者是一些現(xiàn)成的插件源碼。https://skywalking.apache.org/docs/skywalking-java/next/en/setup/service-agent/java-agent/java-plugin-development-guide/GXm28資訊網(wǎng)——每日最新資訊28at.com

總結(jié)

有了這個(gè)監(jiān)控面板后,對于 Pulsar 客戶端內(nèi)部的一些運(yùn)行情況就不再是黑盒了,還可以基于此做一些報(bào)警,比如消費(fèi)堆積、發(fā)送延遲過大等。GXm28資訊網(wǎng)——每日最新資訊28at.com

當(dāng)然僅僅只有這個(gè)面板依然是不夠的,后續(xù)我們又開發(fā)了可以通過 messageId 查詢它的整個(gè)生命周期,包括:GXm28資訊網(wǎng)——每日最新資訊28at.com

  • 生產(chǎn)者、消費(fèi)者信息
  • 消息生產(chǎn)時(shí)間
  • 推送時(shí)間
  • ack 時(shí)間等

GXm28資訊網(wǎng)——每日最新資訊28at.com

同時(shí)借助與 Pulsar-SQL 的能力,還能以列表的形式展示當(dāng)前 topic 的消息列表。GXm28資訊網(wǎng)——每日最新資訊28at.com

GXm28資訊網(wǎng)——每日最新資訊28at.com

當(dāng)然在實(shí)現(xiàn)這兩個(gè)功能的同時(shí)也踩了不少坑,提了幾個(gè) PR ,后面在抽時(shí)間做具體的分享。GXm28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://www.rrqrq.com/showinfo-26-91-0.html從 Pulsar Client 的原理到它的監(jiān)控面板

聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com

上一篇: 一年經(jīng)驗(yàn)在二線城市面試后端的經(jīng)驗(yàn)分享

下一篇: 三言兩語說透設(shè)計(jì)模式的藝術(shù)-單例模式

標(biāo)簽:
  • 熱門焦點(diǎn)
Top 国产精品嫩草99av在线_一区在线视频观看_欧美高清一区_欧美 日韩 国产 一区_99精品欧美一区二区三区_久久大香伊蕉在人线观看热2_一色屋精品视频在线观看网站_在线亚洲国产精品网站_亚洲区一区二区三区_你懂的视频一区二区
欧美精品久久一区二区三区| 免费高清在线视频一区·| 国产精品理论片在线观看| 亚洲 欧美综合在线网络| 99综合影院在线| 欧美三级日韩三级| 一区二区三区在线播放| 96av麻豆蜜桃一区二区| 欧美高清激情brazzers| 亚洲成人动漫av| 在线播放不卡| 精品电影一区二区三区| 亚洲国产aⅴ天堂久久| 国产成人精品免费看| 久久资源av| 亚洲图片欧美视频| 伊人成人网在线看| 久久久夜色精品亚洲| 免费高清成人在线| 99成人在线| 久久婷婷成人综合色| 国产一区二区不卡老阿姨| 91福利社在线观看| 午夜一区二区三区视频| 亚洲国产影院| 国产精品国产三级国产专播品爱网 | 亚洲午夜羞羞片| 激情久久五月| 欧美mv日韩mv国产网站| 日韩不卡在线观看日韩不卡视频| 国产三区精品| 亚洲人成精品久久久久| 欧美日韩国产在线一区| 精品国产伦一区二区三区观看体验 | 欧美不卡在线| 欧美精品一区男女天堂| 粉嫩蜜臀av国产精品网站| 欧美日韩精品一区二区在线播放| 亚洲福利视频三区| 一本久道久久久| 亚洲视频资源在线| 亚洲婷婷免费| 国产精品久久久久一区 | 亚洲精品乱码久久久久久蜜桃麻豆| 日韩亚洲欧美综合| 高清国产一区二区| 精品久久久久久久久久久院品网 | 亚洲影视在线播放| 亚洲少妇诱惑| 最新热久久免费视频| 亚洲午夜精品福利| 国产精品美女久久久久av爽李琼 | 亚洲九九爱视频| 精品96久久久久久中文字幕无| 国产精品夫妻自拍| 激情久久婷婷| 亚洲一区二区偷拍精品| 亚洲一区日韩| 丝袜亚洲另类欧美综合| 可以免费看不卡的av网站| 午夜精品一区二区三区免费视频| 亚洲国产一区在线| 亚洲另类春色国产| 一区二区视频在线观看| 亚洲色图欧洲色图| 国产精品视频免费观看| 日本亚洲三级在线| 91麻豆精品91久久久久久清纯| 国产成人精品综合在线观看| 久久久久国色av免费看影院| 亚洲无线观看| 天天综合色天天综合| 欧美日韩视频在线观看一区二区三区| 国内精品伊人久久久久影院对白| 日韩免费观看高清完整版在线观看 | 在线亚洲观看| 婷婷丁香久久五月婷婷| 欧美在线一区二区| 男女男精品视频网| 欧美一区二区日韩一区二区| 久久久精品网| 成人动漫av在线| 国产一区91精品张津瑜| 日韩高清一区二区| 久久亚洲精精品中文字幕早川悠里| 成人黄页在线观看| 亚洲成人精品一区二区| 亚洲乱码国产乱码精品精的特点| 亚洲电影av| 国产精品电影院| 国产婷婷色一区二区三区 | 国产一区二区三区香蕉| 在线观看欧美亚洲| 欧美人牲a欧美精品| 精品国产一二三区| 人人狠狠综合久久亚洲| 欧美极品美女视频| 欧美亚洲日本一区| 精品999日本| 国产高清不卡二三区| 亚洲欧洲一区二区在线播放| 欧美日韩精品三区| aa级大片欧美三级| 成人av小说网| 日日骚欧美日韩| 国产精品福利一区二区三区| 欧美一二三区在线| 亚洲自拍另类| 欧美在线视屏| 国产乱国产乱300精品| 亚洲综合丁香婷婷六月香| 久久久久国产精品麻豆| 欧美日韩成人综合天天影院| 中文精品视频| 欧美在线播放| 国产一区二区视频在线| 亚洲一区二区欧美日韩| 日本一区二区免费在线| 欧美日韩精品欧美日韩精品一| 亚洲高清在线播放| 成人性视频网站| 免费看欧美美女黄的网站| 国产精品久久久久久久久搜平片| 欧美一区二区三区男人的天堂| 亚洲主播在线| 国产自产在线视频一区| 成人一级黄色片| 蜜桃视频第一区免费观看| 中文字幕亚洲成人| 精品国产电影一区二区| 91久久香蕉国产日韩欧美9色| 亚洲激情黄色| 91网站在线观看视频| 国产激情偷乱视频一区二区三区 | 91精彩视频在线观看| 最新亚洲一区| 99精品1区2区| 国产在线视视频有精品| 午夜在线电影亚洲一区| 中文字幕日韩一区二区| xvideos.蜜桃一区二区| 欧美日韩不卡在线| 色综合激情五月| 一区二区三区三区在线| 国产综合婷婷| 亚洲欧美一区二区原创| www.日本不卡| 国产激情一区二区三区| 狠狠色狠狠色综合| 美女一区二区久久| 日韩高清在线观看| 亚洲成人av一区| 一区二区理论电影在线观看| 成人免费在线播放视频| 中文av字幕一区| 欧美国产日韩在线观看| 久久免费精品国产久精品久久久久| 91精品国产色综合久久久蜜香臀| 色呦呦日韩精品| 欧美专区在线| 国产伦精品一区二区三区高清版| 在线成人亚洲| 狠狠综合久久av一区二区老牛| 欧美一区二区三区免费看| 成人激情校园春色| 成人中文字幕合集| 国产一区二区美女诱惑| 男女男精品视频| 日韩va欧美va亚洲va久久| 亚洲成人一区二区| 一区二区三区四区不卡视频| 亚洲黄色性网站| 亚洲一区二区欧美| 洋洋成人永久网站入口| 亚洲午夜精品17c| 婷婷成人激情在线网| 日本91福利区| 精品一区二区三区视频在线观看| 激情欧美一区二区| 激情综合色综合久久| 国产在线麻豆精品观看| 国产精品一区二区无线| 成人一区二区在线观看| 99久久精品99国产精品| 色综合天天做天天爱| 欧美激情成人在线| 亚洲福利av| 亚洲永久免费精品| 久久久7777| 欧美日韩一区二区在线观看| 91麻豆精品国产91久久久久久久久| 91精品视频网| www日韩大片| 国产精品日韩成人| 亚洲欧美日韩国产综合| 亚洲成av人综合在线观看| 免费一级欧美片在线观看| 国产乱码精品一区二区三区av| 成人精品小蝌蚪| 国产一区激情|