薅羊毛党的胜利——合理利用腾讯云搭建服务

发表于 更新于

TL;DR

腾讯云因为低廉的价格和稳定的服务，以及各种优惠政策，一直被戏称为良心云。对于一些用户量不大、对保密性要求不是特别高的服务，如果充分利用腾讯云的各种优惠，几乎可以零成本搭建。要知道在内网搭建一个服务现在非常多复杂（申请资源、审批权限等等），而且还面临各种限制，运维方面费时费力，所以把服务搬到云上不失为一个好的解决方案。

腾讯云常用免费套餐

  1. 对象存储服务 —— 高可用、可靠、可扩展的对象存储。免费额度：每月50GB存储空间，免费流量共20G及读写请求数量共110万次
  2. 内容分发网络CDN —— 将源站内容分发至最接近用户的节点，有效降低访问时延。免费额度：每月10G免费流量，新用户更有连续6个月50GB免费流量
  3. SSL证书 —— 腾讯云 SSL证书（SSL Certificates）提供了安全套接层（SSL）证书的一站式服务，包括证书申请、管理及部署功能，与顶级的数字证书授权（CA）机构和代理商合作，为您的网站、移动应用提供 HTTPS 解决方案。免费额度：同一主域最多只能申请20张亚洲诚信品牌免费型DV版SSL证书
  4. 无服务器云函数 —— 自动、弹性、无需服务器管理的代码运行环境。免费额度：每月100万次调用，40万GBs 资源使用
  5. 网站安全基础防护 —— 抵御2G DDos攻击的免费服务，实时检测，业界领先！免费使用
  6. 云解析 —— 安全、稳定、快速的免费域名解析服务。免费额度：提供免费版云解析
  7. 云拨测 —— 基于全球服务质量监测网络，助力保障网站、域名、后台接口服务质量。免费使用
  8. 云监控 —— 多维度立体化云产品监控，智能化数据分析，定制化告警触达。免费使用

万象优图 —— 腾讯云为客户提供的专业一体化的图片解决方案，涵盖图片上传、下载、存储、处理、识别等功能，将 QQ 空间相册积累的十年图片服务运作经验开放给开发者。目前有图片处理、原图保护、跨域访问设置、样式预设等功能。
经工单咨询确认，万象优图依赖对象存储服务，但两者的免费额度分别计算。例如，COS的外网下行流量免费额度是10GB，万象优图的外网下行流量免费额度也是10GB。所以我可以先用COS的10个G，当检测到流量用尽时，切换到万象优图继续使用。

开发技术栈介绍

最近接到一个需求，关于某APP的push监控。需要实现：

  • 通过脚本自动化实现，对于PUSH消息的测试
  • 将测试结果通过web页面展示出来

自动化部分，根据实际情况，采用的是 python3 + uiautomator2。
对于web部分，使用的是python3 + Django2 + material-dashboard-html-v2.1.0 + MySQL 5.6（腾讯云），部署时用到了nginx 1.15.0(自己编译，加入TLS1.3支持等) + uwsgi + supervisor。https证书：主站——Let’s Encrypt，CDN——腾讯云。

IDE使用Pycharm。

本地开发

目前自动化脚本是需要手动触发执行和上传结果的，之后还会继续优化。
web的开发，Django作为成熟的解决方案已经足够好了，要注意的就是各种安全方面的配置，严格按照文档来进行即可。对于一些敏感数据，如数据库账号密码等，我采取的措施是放在.env文件，然后把.env文件排除在git之外。这样还有一个好处：对于腾讯云的数据库不同环境使用不同配置，本地开发时使用外网端口（在腾讯云的防火墙只开通公司IP的访问权限），生产环境时配置为内网端口，保护数据库安全。
Pycharm作为最流行的IDE之一，除了开发调试的一些基本功能，database和Deployment功能十分强大，配置好以后提高效率很明显，强烈推荐。

上云之前的方案选择

对于测试结果，没有直接存储在服务器的硬盘中，而是采用了数据库（MySQL）和对象存储（COS）两部分。如果都存在单台服务器，对服务器的内存、硬盘和带宽（重要：带宽很贵！）都有一定的要求，不仅是成本，对于后续运维也是一个不小的挑战。如果分开使用腾讯云的各种基础服务，一方面可以利用各种免费额度降低成本，另一方面可以随时根据需要对各服务升降配/扩容，灵活性更高。

根据对数据访问频率的不同，分别存放到数据库和对象存储，各服务间是通过内网访问的，速度也可以接受。

结果存储——对象存储（COS）与万象优图

腾讯云对象存储（COS）的使用

基本概念

  • 存储桶 —— 即 Bucket ，在 COS 中用于存储对象。简单理解为文件夹或者本地的一块硬盘
  • 对象 —— 即 Object，COS 中存储的基本单元。
  • 地域 —— 即 Region，表示 COS 的数据中心所在的地域。根据地域选择，因为我的云服务器可用区是上海二区，根据就近原则这里选的是上海
  • APPID —— 腾讯云账户的账户标识之一，用于关联云资源。在用户成功申请腾讯云账户后，系统自动为用户分配一个 APPID。
  • API 密钥 —— 用户访问腾讯云 API 进行身份验证时需要用到的安全凭证，由 SecretId 和 SecretKey 一起组成。
  • 默认访问地址 —— 由存储桶名、COS 所属地标识和对象名组成，通过默认访问地址可寻址 COS 中唯一对应的对象。
  • CDN 加速访问地址 —— 由存储桶名、CDN 加速标识以及对象名组成，通过该地址可寻址 COS 中唯一对应的对象。在用户上传对象并且开启 CDN 加速后，腾讯云会自动为对象创建 CDN 加速访问地址。
  • 自定义域名 —— 用户在托管网站时，根据需要，会更倾向于类似www.example.com的域名， 而不希望类似example-1234567890.cosgz.myqcloud.com等域名显示在网站或服务上。用户可以通过 COS 控制台为存储桶绑定自定义域名，绑定后可通过自定义域名直接访问存储桶。绑定自定义域名时，需要通过 CDN 控制台创建 CNAME 记录将 www.example.com映射到 example-1234567890.cosgz.myqcloud.com。

COS有V4、v5两个版本，两个不同的版本，API不同，这点需要注意！！！目前新用户注册一般是v5（如果不是可以开工单申请升级到v5，因为v4的sdk不支持python3）。

权限与安全

Bucket 和 Object 的权限可以设置为：私有读写、公有读私有写、公有读写，Object 默认继承 Bucket 的权限。

最开始的想法，为了安全肯定是设置私有读写（必须带签名才能访问），然后每次访问的时候通过SDK计算出签名再生成页面。但是这里如果想使用自定义域名或CDN，就遇上了个大坑，因为sdk中计算签名的接口写死了只支持默认访问地址。而签名的时候是把域名也算进去的，也就是说计算出签名以后，修改域名为自定义域名，签名失效会导致最终该资源无法访问。

PS：这里起初因为搞不清默认访问地址、CDN和自定义域名如何设置，开工单咨询几次也没解决，所以把这个问题绕过去了。现在想想其实可以根据签名算法自己实现来解决（当然了，有点麻烦）

最后，针对当前项目做了一番评估，通过修改权限为公有读私有写和开启Referer防盗链结合，勉强算是解决了这个问题。

默认访问地址、CDN和自定义域名

理想情况下，我的期望是使用自定义域名并开启CDN。但是如果打开控制台就会发现，这里系统还分配了默认CDN加速域名。所以，我的自定义域名到底是绑在COS上，还是去CDN控制台绑定到默认CDN加速域名，文档中没有明确指引。

这里开了N多工单，最后还是自己一番摸索才找到解决方案：

  1. 关闭默认CDN加速域名（COS和CDN控制台都要关闭，正常情况这两个状态是同步的）
  2. 在COS控制台绑定自定义域名，并且绑定时开启CDN，等待CDN部署完成
  3. 在DNS服务商处，添加CNAME。CNAME的值，如果COS中看不到，可以到CDN控制台去查看

附上一张图片供参考：

开启HTTPS

如果是使用的默认CDN加速域名，CDN控制台中可以看到，HTTPS证书已经自动颁发和配置了，这一节可以略过。
但是如果是想对自定义域名开启HTTPS，那就必须得手动申请证书了。

申请HTTPS证书有三种方式：

  1. 腾讯云免费证书 —— 免费但有数量限制，但与腾讯云各产品已经打通，可以一键部署。
  2. 其它服务商申请免费证书 —— 免费，数量限制未知，但是部署时需要手动上传。
  3. Let’s Encrypt —— 免费，3个月过期但有自动续期脚本，部署到云需要手动上传。

按我个人来讲，Let’s Encrypt一般都是作为首选（可以颁发通配符证书、对各种HTTPS特性支持最好、可以自动续期）。主站服务器上使用问题不大，但是在CDN等产品上使用，续期的时候还需要手动上传就有点麻烦了，所以还是使用了腾讯云的免费证书。

这里先去SSL证书管理的控制台，新购一张免费证书。验证方式，选择DNS（因为此时还没部署服务器，不能使用file验证），然后按照指引马上去DNS服务商处添加TXT记录，并且把TTL设置的尽量短。为什么说马上，因为根据我的经验，添加TXT记录能赶上证书机构第一轮验证DNS的话，可以在5～10分钟内成功颁发；但是如果慢了，就只能保证24小时内颁发。—— 这条经验，后面证书续期的时候有用。

注意：CNAME记录和TXT记录一般是不能同时设置的，所以临时删除CNAME记录，证书颁发后再改回来。

证书颁发成功后，再去CDN控制台开启HTTPS，证书选择自有的，就能在列表中直接选择并部署了。

HTTP/2 能有效提高网站的访问速度。而常见浏览器和客户端的HTTP/2实现都依赖HTTPS。也就是说，要使用HTTP/2就必须配置HTTPS。

文件上传与下载

文件上传有两种方式：命令行工具和SDK。命令行工具可以直接上传整个文件夹，通过SDK的话得自己遍历文件上传。具体的差别就是，命令行工具上传不会对比文件，每次都是全量上传，不但费流量，还会导致文件的创建/修改时间发生变化；如果使用sdk，可以通过head_object接口（也就是HTTP HEAD请求）来和本地文件比对，实现“增量上传”，可以有效节省时间和带宽。

至于下载（也就是文件对应URL的生成），私有读写的问题前面已经提过了。如果是公有读 + 自定义域名的情况，使用list_objects接口获取到Key（也就是文件的相对路径），再和域名手动拼接即可。

list_objects接口有个Prefix参数，可以指定路径实现部分遍历。

万象优图

万象优图本身依赖对象存储，对于已经存在的Bucket直接绑定即可使用。

万象优图的主要使用场景是图片的处理，所以非图片类型的文件建议还是通过COS来访问。
万象优图只提供API，未提供SDK，所以图片的上传依然使用COS的SDK和配置即可，内部是互通的。

默认访问地址、CDN、自定义域名和HTTPS

参考COS即可，唯一需要注意的是自定义域名（和HTTPS证书）要再分配一个，不能与COS相同。
即为COS配置自定义域名：static.xxx.com，为万象优图配置域名：img.xxx.com。

图片处理&样式

万象优图核心能力是图片处理，而图片处理是根据你提供的样式来执行的。
样式的设置有两种方式：通过控制台预定义样式名和通过API传递参数。

通过控制台预定义样式名，好处是操作便捷（通过鼠标点点点，而且还能实时预览），并且因为是通过别名来使用，更安全（参数都被隐藏起来，并且可以开启原图保护）；缺点就是生效慢，最长遇到过将近半个小时才可用。
通过API，优点是能够实时生效，而且参数通过代码控制灵活性高；缺点就是不能开启原图保护，并且基于管道操作符复合使用多个API时也会导致URL太长的问题。

小提示： 如果是通过样式名的方式使用，建议样式名命名时以图片文件扩展名结尾（例如w320.png，h480.webp），并且样式分隔符使用中划线和下划线。否则，浏览器或代码中解析URL中的文件名容易出问题。
重要：webp格式非常小，但是兼容性比较差，像Safari、iOS一般都不支持，Chrome和Android则支持的比较好。可以通过UA判断来源，然后返回不同格式的链接。

结果存储——关系型数据库MySQL

数据库的配置，都是属于基本操作。这里列一些可能遇到的问题：

  • 数据库根据需求选配，为了保证速度，尽量与服务器在同一可用区
  • 正常情况下数据库是可以在控制台随时升降配的，但是活动促销产品可能不支持调整配置，购买时要注意
  • 为了调试方便，数据库可以开外网访问，开通时已自动分配域名和修改默认端口。但是要限制访问（创建账号时可以指定IP），注意公司有联通和电信两个固定IP的出口，都加上即可
  • 创建账号后如果遇到没有权限访问，控制台-数据库管理-账号管理-修改权限，可能是对象级特权没有分配
  • 如果想使用UTF-8编码，MySQL中的字符集要配置为UTF8MB4，而不是utf8。出处：《记住，永远不要在MySQL中使用“utf8”编码》
  • Django使用的MySQL驱动有点问题，我用的是pymysql（当前版本0.8.1）。在settings.py所在路径下的__init__.py文件中，插入如下代码即可：
1
2
import pymysql
pymysql.install_as_MySQLdb()

最后再强调一遍，MySQL的配置放在单独的文件中（此文件不要加入版本控制）。在本地开发时使用外网端口和地址，生产环境使用内网端口和地址。

部署云服务器

选购

腾讯云活动很多的，像最低配的1C1G1M的服务器，经常是600元/3年，合理搭配CDN和云数据库，搭个小网站没什么问题。如果性能不够用了，也可以单独调整CPU、内存或带宽。

一定要注意，如果是促销活动购买的，要仔细阅读活动说明，可能有限制条件。

安全

装系统以后，创建用户，改SSH端口，（通过控制台）配置SSH密钥，限制登录。配置安全组（即防火墙）。用好云硬盘快照和系统镜像，勤做备份。
对于一些基础的安全配置，腾讯云的官方文档都有最佳实践了，照做即可。

部署代码

服务器怎么装python3，Django2部署时的checklist，uwsgi和supervisor怎么配置，网上教程很多，我就不再赘述。

这里还是重点提一下nginx和https。如果是部署在内网，不存在劫持，没有各种安全问题，为了简单起见一般都不需要优化nginx和配置https。但是即然服务放在外网就不一样了，这些工作非常有必要！！！

Chrome 65 开始会默认开启并使用 TLSv1.3 Draft 23, 从 Chrome 68 开始支持 Draft 28

关于nginx，我参考了这篇文章《给 Nginx 添加 TLS1.3 支持 Love4Taylor’s Blog》，主要的特性有：

  • SPDY 补丁
  • HTTP2 HPACK 补丁
  • Dynamic TLS Record 补丁
  • PRIORITIZE_CHACHA 补丁
  • Fix Http2 Push Error 补丁
  • TLS1.3 Draft 23,26,28 补丁
  • Brotli

安全原因，我这里就不放具体的配置了。可以参考Jerry Qu的《本博客 Nginx 配置之完整篇》。

PS：随着NGINX的更新和Let’s Encrypt的产品迭代，这里个别配置已经过时了，主要还是学习思路。
另外关于HTTPS的方方面面，Jerry Qu的博客作为启蒙教程真的非常不错。

对于HTTPS和提升网站安全，这里强烈推荐两篇文章：

附上本系统的 SSL Labs 评分（还在继续优化中）：

其它

除了前面提到那些，目前还需要用到的腾讯云解决方案有：

  • 云拨测
  • 云监控
  • 大禹网络安全（DDos攻击和CC攻击防护）
  • 云API密钥
  • 域名注册
  • 云解析
  • 网站备案

这些产品基本照着文档做就可以了，有不明白的开工单，解答的迅速而且专业。

总结

最后再来说说成本问题。
目前云服务器，华东区1C1G1M，三年的费用是1386元；云数据库MySQL5.6最低配，三年的费用是1296元。
平均一年894元，这还是不参加任何活动的情况。像我去年双十一买的，不是最低配，云服务器+数据库八年左右加一起连500都不到。
这个成本，远低于我们用办公电脑搭的服务，并且用户体验是远超之前的。

所以，腾讯云这个羊毛，值得薅！