褚成志的分享站

ElasticSearch的应用场景说明全文检索能力 日志存储分析能力 数据存储（用的比较少） 全文检索什么是全文检索 存在索引关键字，就是命中文档 使用关键字就可以搜索对应的文档数据 检索算法 倒排索引先将非结构化数据转换为结构化数据，之后使用关键字建立索引 全文检索的结构 索引库结构 检索流程 ElasticSearch 实践与集群架构ES 集群架构 ES是如何进行分片存储的？ 主分片和副本分片的关系： 数据在主分片上做写入，主从节点都可以进行数据写入和数据的读取。 主分片是读写，从分片只可以读不可以写。 分片和节点是不一样的。 节点类型 ES集群故障转移 ES横向扩容能力 ES 集群脑裂 文档读写路由

热加载则是在运行时通过重新加载class改变类信息，直接改变程序行为。 **主要依赖java的类加载机制，在实现方式可以概括为在容器启动的时候起一条后台线程，定时的检测类文件的时间戳变化，如果类的时间戳变掉了，则将类重新载入。**对比反射机制，反射是在运行时获取类信息，通过动态的调用来改变程序行为； 热部署就是在服务器运行时重新部署项目， 直接重新加载整个应用，这种方式会释放内存，比热加载更加干净彻底，但同时也更费时间。 JRebel 加载的速度优于 devtools JRebel 不仅仅局限于 Spring Boot 项目，可以用在任何的 Java 项目中。 devtools 方式的热部署在功能上有限制，方法内的修改可以实现热部署，但新增的方法或者修改方法参数之后热部署是不生效的。 JRebelJRebel 可实现热加载，节省了大量重启时间，提高了个人开发效率。 虚拟机插件，即时分别看到类和资源的变化，直接反应在部署好的应用程序上，从而跳过了构建和部署的过程 激活安装之后会提示输入license激活。使用下面的网址生成服务器地址GUID https://www...

视图预览阿里云 Elasticsearch 指标展示，包括集群状态，索引QPS，节点 CPU/内存/磁盘使用率等 版本支持操作系统支持：Linux 前置条件 服务器 <安装 Datakit> 服务器 <安装 Func 携带版> 阿里云 RAM 访问控制账号授权 RAM 访问控制 登录 RAM 控制台 https://ram.console.aliyun.com/users 新建用户：人员管理 - 用户 - 创建用户 保存或下载 AccessKey ID 和 AccessKey Secret 的 CSV 文件 (配置文件会用到) 用户授权 (云监控只读/时序指标数据权限) 安装配置说明： 示例 Linux 版本为：CentOS Linux release 7.8.2003 (Core) 通过一台服务器采集所有阿里云 Elasticsearch 数据 部署实施脚本市场 登录 Func，地址 http://ip:8088 开启脚本市场，管理 - 实验性功能 - 开启脚本市场模块 载入阿里云数据同步脚...

在一次翻转完成之后 nxt.next = cur 这一次翻转的尾节点应指向下一次的头节点 p0.next = pre 上次翻转的尾节点应指向这次翻转的头节点 p0 变为这次翻转后的尾节点

dr.who是通过http连接的默认用户，可以直接在配置文件里面修改为当前用户，重启之后就可以使用当前用户在页面里面对文件进行相关操作。 MapReduce概述分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 优点**MapReduce ****易于编程**它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。 好的扩展性当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。 高容错性MapReduce设计的初衷就是使程序能够部署在廉价的PC机器上，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的。 适合PB级以上海量数据的离线处理可以实现上千台服务器集群并发工作，提供数据处理能力。 缺点不擅长实时计算MapRedu...

分析性能问题从系统资源瓶颈的角度来说，USE 法是最为有效的方法，即从使用率、饱和度以及错误数 这三个方面，来分析 CPU、内存、磁盘和文件系统 I/O、网络以及内核资源限制等各类软 硬件资源。 从应用程序瓶颈的角度来说，资源瓶颈跟系统资源瓶颈，本质是一样的。依赖服务瓶颈，你可以使用全链路跟踪系统进行定位。而应用自身的问题，你可以通过系统调用、热点函数，或者应用自身的指标监控以及日志 监控等，进行分析定位。 值得注意的是，虽然我把瓶颈分为了系统和应用两个角度，但在实际运行时，这两者往往是 相辅相成、相互影响的。系统是应用的运行环境，系统的瓶颈会导致应用的性能下降；而应 用的不合理设计，也会引发系统资源的瓶颈。我们做性能分析，就是要结合应用程序和操作系统的原理，揪出引发问题的真凶。 系统资源瓶颈USE 法，即使用 率、饱和度以及错误数这三类指标来衡量。 资源列表： CPU、内存、磁盘和文件系统以及网络等，都是最常见的硬件资源。 文件描述符数、连接跟踪数、套接字缓冲区大小等，则是典型的软件资源。 收到监控系统告警时，就可以对照这些资源列表，再根据指标的不同来进行定...

docker-email=782081987@qq.com ##命令格式kubectl create secret docker-registry regcred –docker-server=<你的镜像仓库服务器> –docker-username=<你的用户名> –docker-password=<你的密码> –docker-email=<你的邮箱地址> 1234567891011121314```yamlapiVersion: v1kind: Podmetadata: name: private-nginxspec: containers: - name: private-nginx image: dockerhub123456wk/redis:v1.0 imagePullSecrets: - name: dockerhub123456wk-docker 3、Kubernetes卸载 按照顺序执行以下命令： 1234567891011sudo...

Linux操作系统扫盲汇总linux 基本概念概括 VFS 树链接：虚拟文件系统就是一个树，树的根部就是 / , 树上不同的节点，都会指向不同的物理地址（文件系统的目录树的不同节点其实是来自不同的分区），可以是具体的文件系统，或者网络节点，或者自己虚拟的节点。不同的dev就相当于是挂载到了树上的不同的节点，也就是一个文件夹 FD：文件描述符，指向INODE，进程打开文件的时候使用FD找到文件，同时FD是有数量限制的，默认是一个进程1024，可以使用<font style="color:#F5222D;">ulimit -SHn 65535</font> 临时修改，也可以修改文件 <font style="color:#F5222D;">/etc/security/limits.conf</font> 永久生效，在最后一行加入<font style="color:#F5222D;">- nofile 65535</font>参考 FD是进程而言的，IN...

磁盘为系统提供了最基本的持久化存储。 文件系统则在磁盘的基础上，提供了一个用来管理文件的树状结构。 “Linux 一切皆文件”的深刻含义。无论是普通文件和块设备、还是网 络套接字和管道等，它们都通过统一的 VFS 接口来访问。 索引节点和目录项文件系统，本身是**对存储设备上的文件 进行组织管理的机制。组织方式不同，就会形成不 同的文件系统。** 为方便管理，Linux 文件系统为每个文件都分配两个数据结构，索引节点（index node）和目录项（directory entry）。它们主要用来记录文件的元信息和目录结构。 索引节点，简称为 inode，用来记录文件的元数据，比如 inode 编号、文件大小、访问 权限、修改日期、数据的位置等。索引节点和文件一一对应，它跟文件内容一样，都会被 持久化存储到磁盘中。所以记住，索引节点同样占用磁盘空间。 目录项，简称为 dentry，用来记录文件的名字、索引节点指针以及与其他目录项的关联 关系。多个关联的目录项，就构成了文件系统的目录结构。不过，不同于索引节点，目录 项是由内核维护的一个内存数据结构，所以通常也被叫做目录项缓存。...

Linux 文本编辑三剑客之 awk Linux 文本处理三剑客是面试和后端工作中较为常见的。需要掌握： grep：文本过滤、筛选 sed：文本编辑加工 awk：文本格式化输出 文章只列举常用的，不会完全把手册复述一遍 本节内容基于正则表达式： 正则表达式借助正则表达式可以快速匹配、过滤需要的字符串，在 Linux 上处理大量文本比较高效。 一次处理一行 Linux 上只有文本处理工具三剑客（grep、sed、awk）常用，编程语言都有对应支持 扩展正则是基本正则的补充，一般结合三剑客使用建议直接使用扩展正则的写法，简洁 基本正则 符号 作用 ^ 模式匹配最左侧，^abc就是以abc开头 $ 模式匹配最右侧，abc$就是以abc结尾 ^$ 组合符。空行 . 任意一个且只有一个字符，不匹配空行 * 匹配前一个字符0或多次，不单独使用 .* 组合符。匹配任意多个字符 ^.* 组合符。匹配任意多个字符开头 .*$ 组合符。匹配任意多个字符结尾 \ 特殊字符还原本意，\.是小数点 [abc] 匹配集合内任意字符 [^abc]...