Node.js 性能分析之火焰图

往往,在我们的开发过程的以下两个场景中,我们会需要去分析应用的性能。

  1. 开发时候优化程序;
  2. 线上排查问题;

阅读全文

应用配置的几个原则

之前在 《应用配置管理实践》 中提到过配置的管理方式,这次我专门来说说在工程实践中总结的一些应用配置原则。

阅读全文

在 k8s 中部署 Prometheus

自从 上次 介绍了 Prometheus 之后,就想到要在 k8s 中使用了,不过,在这之前,先介绍下 k8s 的监控。

阅读全文

监控利器之 Prometheus

一直以来,我们会在项目中,使用 APM 去监控应用的状况,分析性能等,这些工具很有效,而且不侵入业务,不需要埋点。

然而,有些需求,是 APM 的监控满足不了的,比如 应用业务指标

阅读全文

从把 SLA 加进 KPI 考核说起

最近公司的领导开始重视服务器的稳定性了。

这是件好事: 因为受到重视,意味着这方面有领导关心跟过问了,对于提高服务器稳定性,大家也都会有更多的压力与动力去做好;这又是件坏事:毕竟是由于历史上出过问题,才导致的,也就是说,之前大家做得不好。

SLA 这个数值很有意义:让大家对服务水平进行承诺,对于公司的减少损失很有帮助。只是对我来说,这件事本身让我有些反感:上级想把 SLA 写到 KPI 每月考核里面,且不说 KPI 考核对于创造性从业者的各种伤害,单是每个月将服务器稳定性加入每月考核 KPI,就有些不合理了。

阅读全文

从数据处理脚本到人际沟通

众所周知,在工作中,我们会有很多的时间与同事去沟通,而沟通效率是一支团队凝聚力的体现以及战斗力的保障。

那么,我们从一个故事说起。

故事

工程师小王刚毕业就进入了一家大公司里面,目前已经开始接受任务,某一天,直属项目领导 A 过来找到小王:

阅读全文

Node.js RabbitMQ 任务队列排错小记

这周五解决了挺有意思的一个 Bug。

背景

由于长期以来,在我们的 Node.js 服务端项目中,离线任务大部分用的是 kue,这是个轻量级的任务队列,之前 也有过介绍。而周五那天我正准备将之前的 kue 队列重构成 RabbitMQ 的队列的相关代码上线。

阅读全文

k8s Ingress 实践

一般来说,我们从外部访问 k8s 里面的应用,有以下种方式:

  1. Ingress:有些云服务商有提供,自己也能安装自己的 ingress controller;
  2. Service NodePort:在 Node 上暴露一个 30000-32767 的端口,可以通过 NodeIp:NodePort 的方式访问;

阅读全文

使用 docker runner 加速 gitlab CI&CD

在之前的 CI&CD 实践中,我们一直使用的是 Shell runner,简单来说,就是在一台机器上配置好所有的环境,然后序列地去执行任务。

很明显,好处是配置非常简单,也很容易 Debug,出了问题,登录到机器上去查找即可;然而坏处就是配置迁移麻烦,也非常容易被破坏环境,而且单台机器上并发比较麻烦,好些的方法是需要配置多个机器,只是这就有些有点浪费资源了。

阅读全文

团队内部推广之我见

一些经验较少的管理者或者项目经理在团队内部推广新技术、新工具的时候,往往,会遇到阻力。

在这里,先讲一个小故事:

小 A,在一个传统互联网公司,刚上任他所在的小团队开发技术经理不久。为了提高公司技术团队的工作效率,最近学习了不少 DevOps 有关的技术与文化,想在团队以及公司内部推广起来,于是他组织了一场分享会,蒙着头花了不少时间去做 PPT,分享的那天,来了不少周围的开发以及运维同事,过程中小 A 激情满满,会后大家也表示应该好好学习与实践。但是,之后发现大家真正落实的情况很少,大部分还是继续着之前的做法,一直不变。小 A 很气愤:明明这是一项非常牛逼的技术 / 工具,为什么这帮人不好好实践呢?于是变得很气愤,抱怨大家的不支持以及不作为。

阅读全文

CentOS 7 使用 ansible 搭建 kubernetes

一直以来,我使用的是 rancher,它提供的 k8s 集群非常棒,基于 docker 镜像安装,免去了很多的安装配置细节,如果对于 k8s 的运行原理不想太深入了解、图方便快捷或者只是想尝试功能,那么它会让你绝对满意:在界面上点击配置下就能搭建起一个集群了。

但是这次我就需要自己真正在机器上搭建起一个原生的集群,折腾下自己。众所周知,k8s 的安装,绝对是个坑,尤其是国内,不翻墙基本上就没戏,对比国外的技术环境,瞬间觉得,国内的技术环境下,能做出好的世界性项目绝对不容易,当然 GFW 除外。

阅读全文

基于 ElasticSearch 的日志统计反爬虫策略

之前在 接口限流 中提到过,用 rate limit 的方式可以起到反爬虫的效果,但是一旦遇到利用代理 IP 来爬你网站的时候,就会遇到问题了

阅读全文

ELK 最近的一些总结

不要执迷于登录服务器敲命令,而是用自动化脚本完成所有的事情

各种博客,包括我自己,一眼望过去,全是教你一步步怎么搭建某个服务,其实这是一个 『反模式 anti-pattern』

阅读全文

《目标》读后感

最近刚看完了《目标》,是《凤凰系统》里面提到的一本书,同样是小说题材,有趣而容易理解。

书的核心点在于 『 TOC 制约法』 ( TOC 即 Theory of Constraints ),简单来说,就是需要发现与改进系统中的 『瓶颈点』

阅读全文

异构数据库之数据同步实践

一般来说,我们的不少业务中,需要用到数据同步,而其中涉及到的本质无非是 『数据一致性』。首先,能想到的数据同步的例子肯定是数据库,由于数据库领域存在的 CAP 理论,一定会有数据同步的过程来达到数据一致性,只是那是属于相同数据库之间的同步,在不同数据库的情况下同步数据的话,叫做 『异构同步』

阅读全文