服务网格：管理对外部服务的访问

背景

在企业中，出于安全考虑对外部服务的访问是被严格管控的，一般都会默认禁止对外部服务的访问。但是有时系统不可避免的会依赖外部服务，安全团队就会将这些外部服务加入到信任白名单中，并限制只有某些访问源才可以访问这些外部服务。通常做法是安全团队收集访问源的 IP 地址，将其加入到允许的源名单中，所有来自这些 IP 地址的对外部服务的访问都被放行，否则被拒绝。或者，安全团队通过设置网络规则，某些设备上发出的对外请求才会被允许，其他设备上的则都被拒绝。

在 Kubernetes 的环境中，pod 的 IP 是“快消品”，一旦 pod 销毁其 IP 地址被回收并在将来会分配给其他的 pod。这就给安全团队增加了管理的难度。

服务网格将应用容器的流量拦截到 sidecar proxy 中，由 sidecar proxy 对流量进行处理，那就可以由 sidecar 来管理对外部服务的网络。这篇文章就来为大家介绍如何使用服务网格的流量管理功能来轻松管理外部服务的访问。

实现

对外部服务的流量管理有两种方式，一种由 sidecar 直接将请求发往外部服务，这种我们称之为 边车透传；另外一种是 sidecar 先将流量转发给出口网关（Egress Gateway），然后出口网关完成到外部服务的转发。

使用出口网关虽然从链路上来看多了一跳，但是提供了统一的出口管理。安全团队可以在固定的设备上设置网络规则，来允许对外部服务的访问。再通过节点选择器，当出口网关调度到这些设备上。两种方式各有优劣，需要根据具体场景来选择。

对于流量的处理模式也分为两种：宽松模式 和 策略模式。前者会放行所有流量，而后者只会放行配置的访问源和目标的流量。

接下来，我们通过示例进行演示。

环境准备

export INSTALL_K3S_VERSION=v1.23.8+k3s2
curl -sfL https://get.k3s.io | sh -s - --disable traefik --write-kubeconfig-mode 644 --write-kubeconfig ~/.kube/config

下载 osm-edge CLI

system=$(uname -s | tr [:upper:] [:lower:])
arch=$(dpkg --print-architecture)
release=v1.2.0
curl -L https://github.com/flomesh-io/osm-edge/releases/download/${release}/osm-edge-${release}-${system}-${arch}.tar.gz | tar -vxzf -
./${system}-${arch}/osm version
cp ./${system}-${arch}/osm /usr/local/bin/

安装 osm-edge

export osm_namespace=osm-system 
export osm_mesh_name=osm 

osm install \
    --mesh-name "$osm_mesh_name" \
    --osm-namespace "$osm_namespace" \
    --set=osm.enableEgress=false \
    --set=osm.image.pullPolicy=Always

部署示例应用

kubectl create namespace curl
osm namespace add curl
kubectl apply -n curl -f https://raw.githubusercontent.com/flomesh-io/osm-edge-docs/main/manifests/samples/curl/curl.yaml

测试

集群外的第三方服务，我们使用 httpbin.org 和 httpstat.us。执行下面的命令，在应用 curl 的 pod 中发送请求到 httpbin.org。

kubectl exec "$(kubectl get pod -n curl -l app=curl -o jsonpath='{.items..metadata.name}')" -n curl -c curl -- curl -sI http://httpbin.org:80/get

会收到下面的错误，说明请求无法发送到集群外。

command terminated with exit code 7

演示

边车透传

宽松模式

执行下面的命令，确保出口宽松模式开启。

kubectl patch meshconfig osm-mesh-config -n "$osm_namespace" -p '{"spec":{"traffic":{"enableEgress":true}}}' --type=merge

发送请求进行测试。

kubectl exec "$(kubectl get pod -n curl -l app=curl -o jsonpath='{.items..metadata.name}')" -n curl -c curl -- curl -sI http://httpbin.org:80/get http://httpstat.us/200

两个服务的请求都收到了 200 OK 的响应，说明在宽松模式所有对外部服务的访问都被允许。

HTTP/1.1 200 OK
date: Thu, 10 Nov 2022 03:02:02 GMT
content-type: application/json
content-length: 571
server: pipy
access-control-allow-origin: *
access-control-allow-credentials: true
x-pipy-upstream-service-time: 1411
connection: keep-alive

HTTP/1.1 200 OK
content-length: 6
content-type: text/plain
date: Thu, 10 Nov 2022 03:02:02 GMT
server: pipy
set-cookie: ARRAffinity=8704f50f7b5106506d91f9a9bf4b765528533ff3a17e44c2bee3d021b099959c;Path=/;HttpOnly;Domain=httpstat.us
request-context: appId=cid-v1:3548b0f5-7f75-492f-82bb-b6eb0e864e53
x-pipy-upstream-service-time: 360
connection: keep-alive

策略模式

出口策略模式只有在禁用出口宽松模式的情况下才生效，执行下面的命令来禁用出口宽松模式。

kubectl patch meshconfig osm-mesh-config -n "$osm_namespace" -p '{"spec":{"traffic":{"enableEgress":false}}}' --type=merge

在出口策略中，通过 spec.resources 指定访问源使用的 serviceaccount；spec.hosts 和 spec.ports 配置了目标的主机名和端口。sidecar 只会转发发送到配置中的目标的请求。比如下面的

应用出口策略。

kubectl apply -f - <<EOF
kind: Egress
apiVersion: policy.openservicemesh.io/v1alpha1
metadata:
  name: httpbin-80
  namespace: curl
spec:
  sources:
  - kind: ServiceAccount
    name: curl
    namespace: curl
  hosts:
  - httpbin.org
  ports:
  - number: 80
    protocol: http
EOF

上面的策略中，我们只配置了 httpbin.org ，尝试向两个服务发送请求来测试出口策略

kubectl exec "$(kubectl get pod -n curl -l app=curl -o jsonpath='{.items..metadata.name}')" -n curl -c curl -- curl -sI http://httpbin.org:80/get http://httpstat.us/200

从结果上可以看到，http://httpbin.org 的访问正常，而对 httpstat.us 的访问收到 403 Forbidden 的响应，被 sidecar 禁止。

HTTP/1.1 200 OK
date: Thu, 10 Nov 2022 03:01:03 GMT
content-type: application/json
content-length: 571
server: pipy
access-control-allow-origin: *
access-control-allow-credentials: true
x-pipy-upstream-service-time: 947
connection: keep-alive

HTTP/1.1 403 Forbidden
content-length: 13
connection: keep-alive

执行命令 kubectl delete egress httpbin-80 -n curl 清理策略。

出口网关

部署出口网关

kubectl apply -n egress-gateway -f https://raw.githubusercontent.com/flomesh-io/osm-edge-docs/main/manifests/egress/egress-gateway.yaml
osm namespace add egress-gateway
kubectl annotate namespace egress-gateway openservicemesh.io/sidecar-injection=disabled --overwrite

有了网关之后，我们需要添加一条全局的出口策略。spec.gateway 对 sidecar 声明出口流量可以转发到命名空间 egress-gateway 下的 Service``global-egress-gateway。

kubectl apply -f - <<EOF
kind: EgressGateway
apiVersion: policy.openservicemesh.io/v1alpha1
metadata:
  name: global-egress-gateway
  namespace: egress-gateway
spec:
  global:
    - service: global-egress-gateway
      namespace: egress-gateway
EOF

宽松模式

既然是宽松模式，需要执行下面的命令来开启宽松模式。

kubectl patch meshconfig osm-mesh-config -n "$osm_namespace" -p '{"spec":{"traffic":{"enableEgress":true}}}' --type=merge

尝试向两个服务发送请求。

kubectl exec "$(kubectl get pod -n curl -l app=curl -o jsonpath='{.items..metadata.name}')" -n curl -c curl -- curl -sI http://httpbin.org:80/get http://httpstat.us/200

两个服务的访问都收到 200 OK 的响应，发送成功。

HTTP/1.1 200 OK
Date: Thu, 10 Nov 2022 08:15:32 GMT
Content-Type: application/json
Content-Length: 258
Connection: keep-alive
Server: gunicorn/19.9.0
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true

HTTP/1.1 200 OK
Content-Length: 6
Content-Type: text/plain
Date: Thu, 10 Nov 2022 08:15:32 GMT
Server: Kestrel
Set-Cookie: ARRAffinity=8704f50f7b5106506d91f9a9bf4b765528533ff3a17e44c2bee3d021b099959c;Path=/;HttpOnly;Domain=httpstat.us
Request-Context: appId=cid-v1:3548b0f5-7f75-492f-82bb-b6eb0e864e53

请求发送成功还不够，我们还需要确认下请求是从出口网关出去的。出口网关在日志中记录了请求和响应的信息，只需要查看出口网关日志中是否上面的请求。执行下面命令检索出口网关的日志。

kubectl logs -n egress-gateway "$(kubectl get pod -n egress-gateway -l app=global-egress-gateway -o jsonpath='{.items..metadata.name}')" | grep httpbin.org | jq

从命令的输出结果可以看到出口网关转发了请求，并记录了请求的相关信息，包括请求时间、访问源的地址、主机名、路径、方法等。

{
  "connection_id": "f34e0b0aa1034190",
  "request_time": "2022-11-10T08:15:31.864Z",
  "source_address": "10.42.0.17",
  "source_port": 36856,
  "host": "httpbin.org",
  "path": "/get",
  "method": "HEAD"
}

假如说，只想放行 httpbin.org 的请求，应该如何处理呢？出口网关同样支持策略模式。

策略模式

执行策略模式，首先要禁用出口宽松模式。

kubectl patch meshconfig osm-mesh-config -n "$osm_namespace" -p '{"spec":{"traffic":{"enableEgress":false}}}' --type=merge

与边车透传时的策略一样，在配置中指定请求源的 serviceaccount，以及目的服务的 host 和 port。

kubectl apply -f - <<EOF
kind: Egress
apiVersion: policy.openservicemesh.io/v1alpha1
metadata:
  name: httpbin-80
  namespace: curl
spec:
  sources:
  - kind: ServiceAccount
    name: curl
    namespace: curl
  hosts:
  - httpbin.org
  ports:
  - number: 80
    protocol: http
EOF

发送测试请求

kubectl exec "$(kubectl get pod -n curl -l app=curl -o jsonpath='{.items..metadata.name}')" -n curl -c curl -- curl -sI http://httpbin.org:80/get http://httpstat.us/200

如我们所期望的，只有 httpbin.org 的服务才被放行。

HTTP/1.1 200 OK
date: Thu, 10 Nov 2022 09:17:25 GMT
content-type: application/json
content-length: 572
server: pipy
access-control-allow-origin: *
access-control-allow-credentials: true
x-pipy-upstream-service-time: 419
connection: keep-alive

HTTP/1.1 403 Forbidden
content-length: 13
connection: keep-alive

总结

服务网格为出口流量提供了非常灵活的管理方式和部署模型，允许我们以云原生的方式对出口流量进行管理。每种都各有优缺点，可根据具体场景和需求灵活选择。