被Spring坑了一把，查看源碼終於解決了DataFlow部署K8s應用的問題
1 前言
歡迎訪問南瓜慢說 www.pkslow.com獲取更多精彩文章！
Docker & Kubernetes相關文章：容器技術
基於各種原因，團隊的Kubernetes被加了限制，必須在特定的Node才可以部署。而之前沒有指定，所以Spring Cloud Data Flow在跑Task時失敗了，無法創建Pod。按照Spring官方文檔配置也一直沒用，後面查看源碼、修改源碼增加日誌後終於解決了。
2 配置無法生效
在自己定義yaml文件，並通過kubectl apply部署時，所添加的限制節點的內容是這樣的：
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: beta.kubernetes.io/os
operator: In
values:
- linux
containers:
- name: php-apache
image: 'pkslow/hpa-example:latest'
ports:
- containerPort: 80
protocol: TCP
resources:
requests:
cpu: 200m
imagePullPolicy: IfNotPresent
這樣設置是可以成功部署的。
修改Data Flow的配置如下：
spring:
cloud:
dataflow:
task:
platform:
kubernetes:
accounts:
default:
limits:
memory: 1024Mi
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: beta.kubernetes.io/os
operator: In
values:
- linux
datasource:
url: jdbc:mysql://${MYSQL_SERVICE_HOST}:${MYSQL_SERVICE_PORT}/mysql
username: root
password: ${mysql-root-password}
driverClassName: org.mariadb.jdbc.Driver
testOnBorrow: true
validationQuery: "SELECT 1"
通過Spring Cloud Data Flow發布Task，報錯如下：
Pods in namespace pkslow can only map to specific nodes, status=Failure
查看官網，按照官方的格式修改配置：
修改如下：
spring:
cloud:
dataflow:
task:
platform:
kubernetes:
accounts:
default:
limits:
memory: 1024Mi
affinity:
nodeAffinity: { requiredDuringSchedulingIgnoredDuringExecution: { nodeSelectorTerms: [ { matchExpressions: [ { key: 'beta.kubernetes.io/os', operator: 'In', values: [ 'linux']}]}]}}
依舊報錯。改成affinity.nodeAffinity=xxx，還是報錯。加引號，也沒用。
查看日誌，也沒有太多資訊。
折騰了許久，也沒太大進展。於是就查看源碼了。
3 查看源碼
3.1 源碼下載
下載了Spring Cloud Data Flow的源碼，看了一下，沒有多大用處，最終發布到Kubernetes是通過Spring Cloud Deployer Kubernetes來發布的，於是又下載了它的源碼。要注意不要下載錯了版本，我們用的是2.4.0版本。或者直接下載所有，然後切換到對應分支：
$ git clone //github.com/spring-cloud/spring-cloud-deployer-kubernetes.git
Cloning into 'spring-cloud-deployer-kubernetes'...
remote: Enumerating objects: 65, done.
remote: Counting objects: 100% (65/65), done.
remote: Compressing objects: 100% (46/46), done.
remote: Total 4201 (delta 26), reused 42 (delta 8), pack-reused 4136
Receiving objects: 100% (4201/4201), 738.79 KiB | 936.00 KiB/s, done.
Resolving deltas: 100% (1478/1478), done.
$ cd spring-cloud-deployer-kubernetes/
$ git branch
* master
$ git checkout 2.4.0
Branch '2.4.0' set up to track remote branch '2.4.0' from 'origin'.
Switched to a new branch '2.4.0'
$ git branch
* 2.4.0
master
先build一下，確保成功：
$ mvn clean install -DskipTests
3.2 添加日誌
查看源碼，也看不出為何配置沒有生效，於是在關鍵點打些日誌出來看看。找到發布Task的入口：
KubernetesTaskLauncher#launch(AppDeploymentRequest)
即類KubernetesTaskLauncher的launch方法。開始追蹤創建Kubernetes Pod的過程。
KubernetesTaskLauncher#launch(AppDeploymentRequest)
KubernetesTaskLauncher#launch(String, AppDeploymentRequest)
AbstractKubernetesDeployer#createPodSpec
DeploymentPropertiesResolver#getAffinityRules
然後在整個調用鏈增加日誌列印，注意日誌要加上特殊字元串，增加識別性，如：
logger.info("***pkslow log***:" + affinity.toString());
追加了日誌後，重新build包，替換掉Data Flow引入的jar包，重新發布即可測試。
通過新加的日誌，發現設置的Properties一直就是沒有生效的，但為何沒生效尚未得知。
4 修改源碼
折騰了一圈還是沒解決，但項目又要急著使用，於是想了個辦法，先修改源碼，自己根據屬性使其生效：
如果沒有讀取到Affinity，就自己生成一個。
重新打包、替換、部署後，不再報錯，能正常執行Task了。
5 最終解決
之前的方案只是暫時解決，並不是一個好的辦法，還是要搞清楚為何配置沒有生效。於是再次查看源碼。在查看類KubernetesDeployerProperties的時候，發現了一點端倪：
這裡的欄位是沒有Affinity的。
另外，從測試用例入手（這是一個很好的思維，測試用例能告訴你很多資訊），看到了DataFlow配置用例，如下：
所以，應該是不用配置前綴Affinity的，修改後配置如下：
spring:
cloud:
dataflow:
task:
platform:
kubernetes:
accounts:
default:
limits:
memory: 1024Mi
nodeAffinity: { requiredDuringSchedulingIgnoredDuringExecution: { nodeSelectorTerms: [ { matchExpressions: [ { key: 'beta.kubernetes.io/os', operator: 'In', values: [ 'linux']}]}]}}
重新部署後，可以了！！！
6 總結
這一次確實是被Spring坑了一把，沒有明確給出配置的示例，然後官方文檔給的提示也是極其誤導。一開始很難想到是不用前綴Affinity的，因為Kubernetes的標準配置是有的，而Spring的官方文檔提示也是有的。實在太坑了！
還好，通過查看源碼及調試，終於解決了這個問題。
歡迎關注微信公眾號<南瓜慢說>，將持續為你更新…
多讀書，多分享；多寫作，多整理。
