0703-6.2.0-使用Sentry為Solr進行賦權

2019 年 10 月 7 日
筆記

文檔編寫目的

在CDH中，Sentry服務是一個基於角色授權的管理組件，通常我們將Sentry用來管理Hive、Impala等組件，但是同樣的，Sentry也可以為Solr提供基於角色的細粒度授權，在啟用Sentry後，可以對各種操作進行權限上的限制，無論對數據的訪問是來自命令行、瀏覽器還是Hue，都會基於授予的角色擁有的權限來進行管理和限制。要注意的是，啟用Sentry對Solr進行權限控制前需要先啟用Kerberos，本文檔將介紹如何使用Sentry對Solr進行賦權。

測試環境：

1.CM和CDH版本為6.2.0

2.Solr版本為7.4

3.集群啟用Sentry

4.集群啟用Kerberos

5.操作系統版本為RedHat7.2

Solr集成Sentry

在Solr中進行相關的配置，勾選Sentry服務，與Solr集成。用戶組和映射類選擇Hadoop的用戶組，不建議選擇本地組

在Solr中選擇安全身份驗證為Kerberos，由於集群已經啟用了Kerberos，這裡直接勾選Kerberos

將配置保存後，重啟Solr服務，完成Solr與Sentry的集成

使用Sentry對Solr進行賦權

本文檔主要介紹如何使用Sentry對Solr中的Collection進行權限管理，對於Collection的權限有三種：QUERY、UPDATE、 *，QUERY提供讀的訪問權限，UPDATE提供寫訪問權限，通配符*表示所有權限，在授權時，同樣可以使用collection=*的方式來授予角色所有collection 的相應權限。在Solr中使用Sentry來賦權，與其他組件一致，是將權限賦予角色，然後將角色授予相應的用戶組，讓用戶組下的用戶能夠執行相應的權限，下面在Sentry中以命令行的方式對Solr進行賦權。

3.1 對Solr進行賦權的前置準備

1.準備好測試文件，一個10行數據的csv文件

2.準備好創建Collection所需要的schema.xml配置文件，對每個字段進行一一對應的配置

<?xml version="1.0" encoding="UTF-8" ?>  <schema name="example" version="1.5">  <fields>    <field name="s1" type="string" indexed="true" stored="true" required="true" multiValued="false" />    <field name="s2" type="string" indexed="true" stored="true" />    <field name="s3" type="string" indexed="true" stored="true" />    <field name="s4" type="string" indexed="true" stored="true" />    <field name="s5" type="string" indexed="true" stored="true" />    <field name="s6" type="string" indexed="true" stored="true" />  <field name="_version_" type="long" indexed="true" stored="true"/>  </fields>  <uniqueKey>s1</uniqueKey>  <types>  <fieldType name="string" class="solr.StrField" sortMissingLast="true"/>  <fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>  </types>  </schema>

3.準備好創建Collection的腳本，在腳本中，標註的那兩行操作是將solrconfig.xml.secure這一配置文件替換掉原本的schema.xml，因為在啟用Sentry的Solr中，必須要使用solrconfig.xml.secure這個配置文件才能讓Sentry的權限管理生效

#!/bin/sh    ZK="cdh178.macro.com"  COLLECTION="collection0731"  BASE=`pwd`  SHARD=3  REPLICA=1  echo "create solr collection"  rm -rf tmp/*  solrctl --zk $ZK:2181/solr instancedir --generate tmp/${COLLECTION}_configs  mv tmp/${COLLECTION}_configs/conf/solrconfig.xml tmp/${COLLECTION}_configs/conf/solrconfig.xml.bk  mv tmp/${COLLECTION}_configs/conf/solrconfig.xml.secure tmp/${COLLECTION}_configs/conf/solrconfig.xml  cp conf/schema.xml tmp/${COLLECTION}_configs/conf/  solrctl --zk $ZK:2181/solr instancedir --create $COLLECTION tmp/${COLLECTION}_configs  solrctl --zk $ZK:2181/solr collection --create $COLLECTION -s $SHARD -r $REPLICA  solrctl --zk $ZK:2181/solr collection --list

4.創建Collection，這一步操作需要使用solr系統用戶登錄Kerberos來完成

使用solr系統用戶登陸Kerberos

執行腳本創建Collection，collection0731創建成功

5.將準備的csv數據文件導入到Solr中，這一步同樣需要solr系統用戶來完成

使用solr用戶登陸Kerberos

導入csv數據文件

curl --negotiate -u : 'http://cdh178.macro.com:8983/solr/collection0731/update/csv?commit=true'   -H 'Content-Type: application/csv'   --data-binary @/root/test0726/data.csv

查看數據導入是否成功

curl --negotiate -u : "http://cdh178.macro.com:8983/solr/collection0731/query?q=*%3A*&wt=json&indent=true"

至此，Collection創建成功，csv數據文件也導入成功，下面用Sentry對Solr進行賦權

3.2 使用Sentry對Solr進行賦權

先創建一個admin角色，並賦予所有權限，然後將admin角色授予solr用戶組，該操作需要使用solr系統用戶登陸Kerberos來完成

創建角色admin並賦權然後給到solr用戶組

solrctl sentry --create-role admin  solrctl sentry --add-role-group admin solr  solrctl sentry --grant-privilege admin 'collection=*->action=*'  solrctl sentry --grant-privilege admin 'config=*->action=*'

查看角色admin的權限

solrctl sentry --list-privileges admin

下面對test用戶進行權限測試

1.使用test用戶登陸Kerberos，此時未使用Sentry對test用戶組進行授權

2.使用未授予任何權限的test用戶來查看之前創建的Collection

curl --negotiate -u : "http://cdh178.macro.com:8983/solr/collection0731/query?q=*%3A*&wt=json&indent=true"

由上圖可以看出，test用戶並沒有查看Collection的權限

3.使用未授予任何權限的test用戶來對之前創建的Collection進行更新操作

curl --negotiate -u : 'http://cdh178.macro.com:8983/solr/collection0731/update'   > -H 'Content-Type: application/json'   > -d '[{"s1":"11", "s2":"1111", "s3":"kkk", "s4":"2019-07-22 18:22:25", "s5":"text11", "s6":"mark"}]'

由上圖可以看出，test用戶同樣沒有更新Collection的權限

4.使用Solr用戶登陸Kerberos，然後創建角色test，賦予所有Collection的UPDATE權限

solrctl sentry --create-role test  solrctl sentry --add-role-group test test  solrctl sentry --grant-privilege test 'collection=*->action=UPDATE'  solrctl sentry --list-privileges test

5.賦予所有Collection的UPDATE權限後，再次使用test登陸Kerberos，然後對Collection進行更新操作

使用Solr系統用戶賦權

solrctl sentry --create-role test  solrctl sentry --add-role-group test test  solrctl sentry --grant-privilege test 'collection=*->action=UPDATE'  solrctl sentry --list-privileges test

使用test用戶登陸Kerberos，進行更新操作

curl --negotiate -u : 'http://cdh178.macro.com:8983/solr/collection0731/update'   -H 'Content-Type: application/json'   -d '[{"s1":"11", "s2":"1111", "s3":"kkk", "s4":"2019-07-22 18:22:25", "s5":"text11", "s6":"mark"}]'

由上圖可以看出，test用戶擁有對Collection的UPDATE權限，下面測試test用戶對Collection進行查詢

curl --negotiate -u : "http://cdh178.macro.com:8983/solr/collection0731/query?q=*%3A*&wt=json&indent=true"

可以看出，查詢失敗，說明UPDATE權限只能對Collection進行更新操作，而不能進行查詢操作

6.使用solr系統用戶登陸Kerberos，然後將角色test刪除，再重新創建角色test，並賦予所有Collection的QUERY權限，然後再進行測試

使用solr用戶登陸進行賦權

solrctl sentry --drop-role test  solrctl sentry --create-role test  solrctl sentry --add-role-group test test  solrctl sentry --grant-privilege test 'collection=*->action=QUERY'  solrctl sentry --list-privileges test