PolarDB监控
视图预览阿里云 PolarDB Mysql 指标展示,包括 CPU 使用率,内存命中率,网络流量,连接数,QPS,TPS,只读节点延迟等 版本支持操作系统支持:Linux 前置条件 服务器 <安装 Datakit> 服务器 <安装 Func 携带版> 阿里云 RAM 访问控制账号授权 RAM 访问控制 登录 RAM 控制台 https://ram.console.aliyun.com/users 新建用户:人员管理 - 用户 - 创建用户 保存或下载 AccessKey ID 和 AccessKey Secret 的 CSV 文件 (配置文件会用到) 用户授权 (云监控只读/时序指标数据权限) 安装配置说明: 示例 Linux 版本为:CentOS Linux release 7.8.2003 (Core) 通过一台服务器采集所有阿里云 PolarDB Mysql 数据 部署实施脚本市场 登录 Func,地址 http://ip:8088 开启脚本市场,管理 - 实验性功能 - 开启脚本市场模块 载入阿里云数据同...
Presto
Presto是一种工具,旨在使用分布式查询来有效查询大量数据。 如果您使用TB或PB的数据,则可能会使用与Hadoop和HDFS交互的工具。 Presto旨在替代使用MapReduce作业的管道(例如Hive或Pig)查询HDFS的工具的替代方案,但Presto不仅限于访问HDFS。 Presto可以并且已经扩展为可以在包括传统关系数据库和其他数据源(例如Cassandra)在内的各种数据源上运行。 Presto旨在处理数据仓库和分析:数据分析,汇总大量数据并生成报告。 这些工作负载通常被归类为在线分析处理(OLAP)。 https://blog.csdn.net/cakexuexi/article/details/80820170
Redis删除特定的前缀
redis没有提供可以直接使用的,需要自己封装: 不能使用keys ,而是使用scan Redis命令对应的命令: 12345redis-cli --raw keys "*prefix*" | xargs redis-cli del# SCAN cursor [MATCH pattern] [COUNT count]redis-cli --scan --pattern "*prefix*" | xargs -L 2000 redis-cli del# 其中xargs -L指令表示xargs一次读取的行数,也就是每次删除的key数量,一次读取太多xargs会报错 类似的SCAN命令,对于Redis不同的数据类型还有另外几个SSCAN、HSCAN和ZSCAN,使用方法类似: sscan ops-coffee 0 MATCH v1* java 实现123456789101112131415161718192021222324252627282930313233343536//redis-cli --raw keys "ops-coff...
Linux虚拟内存、buffer、cache、缓存命中率、缓存文件大小
cachetop 跟 top 类似,默认按照缓存的命中次数(HITS)排序,展示了每个进程的缓存命 中情况。具体到每一个指标,这里的 HITS、MISSES 和 DIRTIES ,跟 cachestat 里的含义 一样,分别代表间隔时间内的缓存命中次数、未命中次数以及新增到缓存中的脏页数。而 READ_HIT 和 WRITE_HIT ,分别表示读和写的缓存命中率。 指标–文件在内存中的缓存大小pcstat使用 pcstat 这个工具,来查看文件在内存中的缓存大小以及缓存比例。pcstat 是一个基于 Go 语言开发的工具,所以安装它之前,你首先应该安装 Go 语言 展示了 /bin/ls 这个文件的缓存情况:Cached 就是 /bin/ls 在缓存中的大小,而 Percent 则是缓存的百分比。你看 到它们都是 0,这说明 /bin/ls 并不在缓存中。 ls 命令,再运行相同的命令来查看的话,就会发现 /bin/ls 都在缓 存中了 实验新建文件–第一个终端 确认刚刚生成的文件不在缓存中。...
Redis持久化
对比 AOF 文件的内容是操作命令; RDB 文件的内容是二进制数据。 RDB 快照就是记录某一个瞬间的内存实际数据,而 AOF 文件记录的是命令操作的日志 RDB 恢复数据的效率会比 AOF 高些,因为直接将 RDB 文件读入内存就可以,不需要像 AOF 那样还需要额外执行操作命令的步骤才能恢复数据。 RDB 丢失的数据会更多,因为保存是全量快照,所以频率不能太高否则性能不好,所以会丢失更多数据 AOF 怎么用12345678910111213141516171819// redis.confappendonly yesappendfilename "appendonly.aof"# 同步方式appendfsync everysec# aof重写期间是否同步no-appendfsync-on-rewrite no# 重写触发配置auto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mb# 加载aof时如果有错如何处理aof-load-truncated yes # yes表示如果aof尾部文件...
Redis不同数据类型代码场景实践
string博客不好的实现12345jedis.set("key1", "value1");jedis.get("key1");jedis.del("lock_test");jedis.incr("blog_id_counter");Long key = jedis.incrBy("key", 1); 1jedis.set("lock_test", "value_test", SetParams.setParams().nx()); 12345678Long publishBlogResult = jedis.msetnx("article:1:title", "学习Redis", "article:1:content", "如何学好redis的使用", "art...
PostgreSQL可观测性完整方案
软件简述PostgreSQL 是一种开源的关系型数据库管理系统 (RDBMS),它提供了许多可观测性选项,以确保数据库的稳定性和可靠性。 Observability可观测性是指对数据库状态和操作进行监控和记录,以便在系统出现问题时能够快速诊断和修复。 数据采集通过 Postgresql exporter 进行数据采集 创建启动服务 /usr/lib/systemd/system/postgres_exporter.service 123456789101112131415161718[Unit]Description=postgres ExporterWants=network-online.targetAfter=network-online.target [Service]Type=simpleUser=rootGroup=rootEnvironment=DATA_SOURCE_NAME=postgres://postgres:postgres@localhost/testdb?sslmode=disableExecStar...
Redis的数据结构
Redis的数据结构重要:Redis 为什么用跳表而不用平衡树? https://juejin.cn/post/6844903446475177998 https://mp.weixin.qq.com/s?__biz=MzA4NTg1MjM0Mg==&mid=509777776&idx=1&sn=e56f24bdf2de7e25515fe9f25ef57557&mpshare=1&scene=1&srcid=1010HdkIxon3icsWNmTyecI6#rd Redis的对象系统中的每种对象实际上都是基于使用场景选择多种底层数据结构实现的,比如ZSET就是基于【压缩列表】或者【跳跃表+字典】(这也跟之前排序中提到的Sort包实现的思想一样,基于数据规模选择合适的排序算法),体现了Redis对于性能极致的追求。 https://cloud.tencent.com/developer/article/1353762
Redis实现分布式锁以及Redis客户端比较
若锁存在,且唯一标识匹配:则先将锁重入计数减1local counter = redis.call(‘hincrby’, KEYS[1], ARGV[3], -1);if (counter > 0) then – 锁重入计数减1后还大于0:表明当前线程持有的锁还有重入,不能进行锁删除操作,但可以友好地帮忙设置下过期时期 redis.call(‘pexpire’, KEYS[1], ARGV[2]); return 0;else – 锁重入计数已为0:间接表明锁已释放了。直接删除掉锁,并广播解锁消息,去唤醒那些争抢过锁但还处于阻塞中的线程 redis.call(‘del’, KEYS[1]); redis.call(‘publish’, KEYS[2], ARGV[1]); return 1;end; return nil; 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455...
Redis总结
processon
