前言

上一篇《从一台云服务器开始》写到最后,我列了一堆”接下来可能会尝试”的东西,其中第一条是完善个人服务器面板。

那篇文章的结尾,面板还只是一个设想:打开网页先登录,然后看到 CPU、内存、磁盘、服务状态。

现在它真的跑起来了——而且不止面板。

这篇文章想记的是这中间发生了什么:一台配置不高的小服务器,是怎么从”能 SSH 进去”变成”上面跑着一整套我每天在用的服务”的。


一、现在它上面有什么

先说结果。这台机器目前跑着 7 个 systemd 单元,按角色分大概是这样:

角色 做什么 常驻内存
控制面板 自己写的 Web 面板,只监听本机 32.5 MB
反向代理 对外的唯一入口,负责 TLS 10.2 MB
私有代理 自己用的加密代理服务 16.0 MB
入侵防护 定时任务,不是常驻进程 无常驻
应急远程 浏览器里就能打开的远程桌面 13.5 MB
桌面中继 自建的远程桌面中继服务 11.3 MB

加起来不到 90 MB。

而这台机器的总内存是 892 MB,2 核 CPU,61 GB 磁盘。

第一次把这些数字摆在一起的时候,我自己也有点意外:原来一台不到 1 GB 内存的机器,真的能稳稳当当地撑起这些。

但”能撑起”不是自动发生的。这台机器教会我的第一件事,就和我原来的直觉相反。


二、RSS 会骗人:我重新理解了”内存占用”

服务器配置低,自然就会盯着内存看。

最开始我和大多数人一样,跑 ps aux 或者 free -h,然后按 RSS 排名,看谁占得多。

看了几天之后,我注意到一个很奇怪的现象:

系统日志服务(systemd-journald)在 ps 里显示占了 72 MB。

在这台只有 892 MB 内存的机器上,72 MB 是个显眼的数字。我当时的第一反应是:要不要限制一下它的内存?

幸好我没有直接动手,而是先去查了它的”真实占用”:

1
2
3
for p in $(ls /proc | grep -E '^[0-9]+$'); do
awk '/^RssAnon:/{print $2}' /proc/$p/status 2>/dev/null
done | sort -rn | head

这条命令只做一件事:按 RssAnon 给所有进程排序。

结果出来之后,那个”占 72 MB”的进程,RssAnon 只有 1.5 MB 左右。

差在哪里

关键在这两个字的区别:

  • RssAnon:匿名页,也就是进程真正申请、不可回收的内存。这部分才是它的”真实占用”。
  • RssFile:映射的文件页(库文件、日志文件、缓存)。内存紧张时内核可以直接丢掉,不用写回磁盘。

ps 显示的 RSS 是两者之和。

换句话说,那个 72 MB 里,绝大多数是内核随时可以回收的文件页。它看起来像个内存大户,实际上对内存压力几乎没有贡献。

在一台大内存机器上这个问题不明显——反正内存够用,虚高就虚高了。但在 892 MB 的机器上,按虚高的数字去做优化决策,等于把一个不占内存的进程收拾一顿,然后发现什么也没省下。

这个”假警报”我前后复现了三次,最后把它当成了一条固定结论写进笔记:

判断内存占用只看 RssAnon,不看 ps aux 的 RSS,也不看 cgroup 的 memory.current。

顺着这条线又发现两件事

第一件:内核参数里,”上限”和”真实占用”是两回事。

做流媒体传输调优时,我看到很多教程都会让你调这几个参数:

1
2
3
4
net.core.rmem_max
net.core.wmem_max
net.core.rmem_default
net.core.wmem_default

但 rmem_max 和 rmem_default 的语义完全不同:

1
2
rmem_max      单个 socket 接收缓冲的上限     ← 只是天花板,不预分配
rmem_default 每个新建 socket 的初始大小 ← 这个是真实占内存的

在小内存机器上,该抬的是”上限”,不该动的是”初始值”。把 default 一起调大,等于每个连接一建立就先占掉一块内存。

我最后只改了 xxx_max,default 一个都没碰。

第二件:Swap 被占用,不等于在用 Swap。

这台机器的 Swap 显示用了 88 MB,看起来像”内存不够了在换页”。但实测换入换出速率:

1
vmstat 1 3

si 和 so 两列全是 0。

也就是说,那 88 MB 只是历史上被换出去、之后一直没被访问的冷页,当前没有任何换页活动,对性能零影响。

如果只看”Swap 占用了 88 MB”就去优化,同样是在打一个不存在的敌人。


三、让面板安全地露在外面

面板写完之后,第一个问题就是:怎么让它能被访问,但又不直接暴露在公网上?

应用只监听本机

我做的第一件事是让面板只绑定 127.0.0.1,不监听公网网卡。

1
公网  →  Nginx(443/TLS)  →  127.0.0.1:8000  →  面板

这样面板本身永远不直接面对公网:

  • 外部无法直接连到应用端口
  • TLS、安全响应头、访问限速、日志,全部在 Nginx 这一层统一处理
  • 应用可以专注于业务逻辑,不用自己操心证书

这也是我觉得反向代理最值得理解的一点:它不只是一个”转发器”,而是应用和公网之间的一层缓冲。

没有域名,也能上 HTTPS

这里遇到一个实际问题:我没有为这台服务器准备域名,但我想用 HTTPS。

原因是 URL 里带 IP 的证书,浏览器一定会报错——证书只对域名签发,不对 IP 签发。

后来发现了一类挺好用的服务:把 IP 直接写进域名的通配 DNS。

比如把一个公网 IP 203.0.113.10 写成域名:

1
203-0-113-10.sslip.io

这类服务会把点换成横线的那部分解析回对应的 IP,所以它天然指向你的服务器。

于是就可以像对待正常域名一样去申请证书:

1
certbot certonly --nginx -d 203-0-113-10.sslip.io

然后验证一下自动续期是不是真的能跑通:

1
certbot renew --dry-run --no-random-sleep-on-renew

顺带一提:上面这个 IP 是文档专用测试网段,不是我的真实地址。写文章的时候特意换掉了。

这个技巧解决了我一个挺实际的困境:在还没决定要不要买域名的阶段,先把 HTTPS 跑起来。


四、公网服务器的日常:每天都在被敲

服务器上线之后,我养成了偶尔翻日志的习惯。翻多了就会发现一件事:

一台暴露在公网的服务器,每天都在被人尝试登录。

各种来源的 IP,一天几十上百次,试 root、试 test、试 user、试各种常见用户名。

一开始看到这些会有点紧张,后来慢慢就平静了——因为它们全都没有成功过。

一个用来验证加固是否生效的细节

真正有意思的,是日志形态发生的变化。

我把 SSH 配成只能用密钥登录、完全禁用密码认证之后,日志里出现的东西变了:

配置之前,攻击尝试长这样:

1
Failed password for invalid user root from <IP> port <PORT> ssh2

配置之后,变成了这样:

1
error: maximum authentication attempts exceeded for invalid user root from <IP> port <PORT> ssh2

差别看着很细,但含义完全不同:

Failed password 说明”密码验证发生过,只是密码错了”。

maximum authentication attempts exceeded 说明”密码验证这个环节根本不存在”,所以只能在尝试次数上被挡掉。

这是我看到过的、最能说明”加固真的生效”的证据——比”没有发生入侵”这种结论有力得多,因为它直接证明了攻击路径本身已经被移除,而不是”运气好没被攻破”。

另一件事:扫描器也在敲门

除了 SSH,Web 层同样不安静。

日志里经常能看到一堆明显不属于正常访问的请求:

1
2
3
GET /.env
GET /wp-admin/
GET /phpmyadmin/

这些是自动扫描器在碰运气,找有没有配置泄露、有没有装 WordPress、有没有随手放着的数据库管理面板。

对这类请求我的处理很直接:在 Nginx 层识别到特征就直接掐断连接,不给任何响应内容。

服务器被扫描不是异常,是常态。 需要做的不是”让它不被扫”,而是确保被扫到的东西什么都拿不到。


五、小服务器要小心的两个”隐形上限”

这一节是两个我踩过、或者差点踩到的坑,都跟”看起来没问题但其实有限制”有关。

坑一:突发型实例的 CPU 是有额度的

很多便宜的云服务器用的是突发型(Burstable)规格。

它的特点写在名字里:CPU 不是随时都能跑满的。

这类实例有一个”基线”——比如只保证 10% 的 CPU 性能,平时跑得轻松,你偶尔需要爆发时可以借用额外的算力,但借来的部分是要”还”的。额度用完,CPU 就会被限流。

意思是:

同样一台机器,程序跑得快不快,可能取决于它之前跑得勤不勤。

所以后来我排查”服务变慢了”的时候,会先确认一下是不是被限流了,而不是一上来就怀疑代码。

验证的办法很朴素:跑一个单核基准测试,然后再跑一个双线程并行的测试。

1
2
如果双线程耗时 ≈ 单线程的一半  →  两个核都在正常工作
如果双线程耗时 ≈ 单线程的时间 → 被限制在单核水平,很可能触发了限流

这个思路其实挺通用的:用一个可测量的基准,去区分”我的程序慢”和”机器不让我快”。

坑二:不要把”排障”和”优化”混在一起

还有一个更隐蔽的问题,跟 TLS 握手的性能有关,也和内存、带宽都有关——在这里展开会太长,但它给我留下的教训是通用的:

在没有任何度量的情况下做优化,你根本不知道优化有没有生效。

我后来在 Nginx 的日志格式里加了几个字段,专门记录请求耗时、上游处理时间、实际发送字节数:

1
2
3
4
5
log_format wyx_main
'$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" "$http_user_agent" '
'rt=$request_time urt=$upstream_response_time '
'sent=$bytes_sent rlen=$request_length';

加了这几个字段之后,我才能直接算出真实的传输速率。

在那之前,我只能拿日志里的时间戳去”推算”吞吐量——这个做法非常不可靠,因为日志时间戳的精度、请求的并发、连接的复用都会让推算结果失真。我确实因为这样得出过错误的结论。

先把度量补上,再下结论。这一条现在写在我的笔记里。


六、比技术更重要的,是几个习惯

服务跑起来之后,我慢慢发现真正让运维不那么提心吊胆的,不是某个具体的命令,而是几个习惯。

习惯一:改动之前先想好怎么退回去

每次要改配置,我会先做两件事:

  1. 把要修改的文件备份到一个固定的备份目录,带上时间戳;
  2. 在备份目录里顺手写好回滚脚本。

听起来有点小题大做,但它的价值在于:改坏了的时候,我不用现场思考怎么办,只要执行一条已经写好的命令。

人在出问题的时候是最容易慌的,把”冷静的时候想好的方案”存下来,比现场急中生智可靠得多。

习惯二:危险操作挂一个”定时回滚”

有些改动,比如改 SSH 配置、改网络参数,万一改错了会导致直接连不上服务器。

对付这种情况,我用了一个很简单的办法:

改动生效之后,顺手挂一个定时任务,在若干分钟后自动回滚。
如果改动没问题,我确认之后手动把这个定时任务取消;
如果我改完真的把自己关在门外了,等定时器到点,配置自动恢复,我就能再连进去。

这个”保险”我确实用到过一次——而且是以一种很尴尬的方式:有一次我确认了没问题,但忘了取消定时回滚,于是改好的配置在几分钟后被自动回滚了。

那次教训之后,我在笔记里加了一条:验证全部通过之后,第一件事是停掉回滚定时器。

习惯三:配置改动写成可重复执行的脚本

手改配置文件有个问题:改过一次之后,第二次再改就很容易改乱,或者改重复。

所以后来凡是重要的配置改动,我都写成带起止标记的脚本:

1
2
3
# WYX-XXX-START
... 我插入的配置 ...
# WYX-XXX-END

脚本先检查标记是否已存在,再决定要不要插入,插入之后还会做一遍结构校验(比如括号是否配对)。

这样这条改动可以反复执行,结果都一样——不管我是在新机器上重来一遍,还是在已经被改过的机器上再跑一次。

习惯四:所有结论都要有实测支撑

前面几节其实都在说这件事:

  • 内存要看 RssAnon,不能看 RSS —— 这是实测出来的
  • Swap 占用不等于换页 —— vmstat 实测 si/so 都是 0
  • SSH 加固生效 —— 日志形态从 Failed password 变成 maximum authentication attempts exceeded
  • CPU 没有被限流 —— 单核基准 + 双线程对比

推测可以指导排查方向,但结论必须来自测量。

这大概是我这段时间最大的收获。服务器的好处是,它几乎能把所有事情量化:日志、速率、内存、连接数。既然能量化,就没有理由靠猜。


七、还没做完的事

我不太想把这篇文章写成一份”我全都搞定了”的报告,因为实际上还有几件悬着的事:

1. 内核更新了,但还没重启生效。

系统在自动安全更新时已经装上了新内核,但当前运行的还是旧版本,需要重启才能切换。重启会让所有服务中断一两分钟,所以我一直没动手——得挑一个我自己不用代理、不用远程桌面的时间。

2. 服务器还没有自动备份。

目前只有我手工做的快照——把数据库、凭据、配置文件打成一个包。数据量很小(不到 1 MB),但它现在是靠人记得去做,而不是系统自动做。这件事我打算尽快补上一个定时任务。

3. 面板的口令还不够强。

这一点我自己很清楚。它的风险不在于面板本身,而在于服务器上有公网可达的写入入口——这两件事叠在一起,性质就不一样了。

知道问题在哪,和把它解决掉,中间还差一个”安排时间”。这里如实记下来。


结语

上一篇的结尾我问过一个有点迷茫的问题:

有了服务器,却突然不知道拿它做什么。

现在这个问题有答案了,但答案和当初设想的不太一样。

当初我以为答案是”部署某个具体的东西”。实际做下来发现,真正让这台服务器变得有价值的,是它一直在线、一直暴露在公网、一直有人在敲这三件事带来的连锁反应:

因为它一直在线,所以我开始考虑服务怎么常驻、开机怎么自启、异常怎么恢复;
因为它暴露在公网,所以我开始认真对待证书、加固、日志和限流;
因为一直有人在敲,所以我不得不去读懂那些日志,然后发现”被扫是常态,挡得住才是本事”。

这些事,在自己电脑上跑一个本地服务的时候,一件都不会遇到。

所以比起”我在这台服务器上部署了什么”,我更想记住的是:

它逼着我把事情想得更完整了一点——包括那些出问题时才需要用到、但必须在没出问题时就准备好的部分。


参考

  • 上一篇:《从一台云服务器开始:我的 Linux 实验场搭建记录》
  • 内存判据:/proc/<pid>/status 中的 RssAnon
  • 证书签发与续期预演:certbot renew --dry-run
  • Nginx 日志扩容:自定义 log_format 附加 $request_time / $upstream_response_time / $bytes_sent