ABP框架使用Oracle資料庫,並實現從SQLServer中進行數據遷移的處理

ABP框架的數據訪問底層是基於EFCore(Entity Framework Core)的,是微軟標誌性且成熟的ORM,因此它本身是支援多種主流資料庫MySQL,SqlServer,Oracle,SQLite等等的,我在上篇隨筆《ABP框架使用Mysql資料庫,以及基於SQLServer創建Mysql資料庫的架構和數據》已經詳細介紹過如何從SQLServer遷移支援Mysql資料庫的操作,同時介紹如何從SQLServer基礎數據,通過Navicat工具,實現資料庫遷移到Mysql上去。本篇隨筆繼續介紹ABP框架實現Oracle的適配和資料庫的遷移處理。

1、ABP框架中Oracle資料庫的適配處理

ABP框架底層是使用EFCore來實現數據處理的,框架默認是使用SQLServer資料庫的,如果需要切換到Oracle資料庫上去,使用EF Core操作Oracle資料庫,首先需要安裝Oracle.EntityFrameworkCore,可以直接在NuGet上直接搜索安裝即可。

首先在ABP框架的EntityFrameworkCore項目右鍵上選擇【管理NuGet程式包】,然後 搜索Oracle,選擇Oracle.ManagedDataAccess.Core和Oracle.EntityFrameworkCore即可,如下所示。

 Oracle.ManagedDataAccess.Core是基於ODP的.netcore的驅動程式,是我們訪問Oracle的時候,擺脫X86,X64的繁瑣限制。

這個Oracle的ODP.NET方式,之前在微軟企業庫的相關框架就已經用過,非常不錯,有興趣可以參考隨筆《在開發框架中擴展微軟企業庫,支援使用ODP.NET(Oracle.ManagedDataAccess.dll)訪問Oracle資料庫》了解一下。

它的連接字元串類似下面的格式

<add name="oracle3" providerName="OracleManaged"  connectionString="Data Source=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=localhost)(PORT=1521))(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME=orcl)));User ID=win;Password=win" />

如果是我們目前ABP框架,這是採用appSetting.json的方式了,格式如下所示。

  "ConnectionStrings": {
    "Default": "Server=.\\SQL2014; Database=MyProjectDb; Trusted_Connection=True;",
    "Oracle": "Data Source=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=localhost)(PORT=1521))(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME=orcl)));User ID=C##ABP;Password=abp",
    "MySql": "Server=localhost;Database=myprojectdb;Uid=root;Pwd=123456;",
    "PostgreSQL": "Server=localhost;Port=5432;Database=myprojectdb;User Id=postgres;Password=123456"
  },

安裝了Oracle的兩個驅動文件,我們就需要調整一下對應的程式碼了,參考隨筆《ABP框架使用Mysql資料庫,以及基於SQLServer創建Mysql資料庫的架構和數據》的處理,我們調整非常方便。

 

 支援,我們感覺好像Oracle的應該調整的差不多了,嘗試把項目編譯運行,會發現有錯誤出現:ORA-00942: 表或視圖不存在

 

這個問題開始挺困惑的,而且ABP框架切換到Oracle的相關文章介紹也很少,網上很多做法後來回想起來,他們處理都是不太正確的,至少對於當前EFCore的處理來說,不是正確的。

要了解這個問題:ORA-00942: 表或視圖不存在,我們需要來看看EFCore底層對錶名和欄位的限定符處理邏輯了,我們查看host啟動項目的錯誤日誌,得到如下提示。

ERROR 2021-08-15 16:12:46,603 [1    ] oft.EntityFrameworkCore.Database.Command - Failed executing DbCommand (114ms) [Parameters=[], CommandType='Text', CommandTimeout='0']
SELECT "a"."Id", "a"."CreationTime", "a"."CreatorUserId", "a"."DeleterUserId", "a"."DeletionTime", "a"."Discriminator", "a"."DisplayName", "a"."IsDeleted", "a"."LastModificationTime", "a"."LastModifierUserId", "a"."Name", "a"."AnnualPrice", "a"."DailyPrice", "a"."ExpiringEditionId", "a"."MonthlyPrice", "a"."TrialDayCount", "a"."WaitingDayAfterExpire", "a"."WeeklyPrice"
FROM "AbpEditions" "a"
WHERE "a"."Name" = N'Standard'
FETCH FIRST 1 ROWS ONLY

我們可以看到生成的訪問SQL,它使用了雙引號作為限定符。

生成的Sql中是將所有的表名和欄位名都用雙引號修飾的,而Oracle中存儲欄位名默認都是採用全大寫的形式的,它們是不對應的,使用雙引號的對象名稱,是大小寫敏感的,如下在PLSQL中執行語句。

 而不使用限定符的字元串對象,默認是按大寫方式來處理的,如下結果所示。

所以如果我們不想將實體類所有的屬性名稱寫成大寫,就需要顯式的指定映射的column的名稱。可以使用DataAnnotations的特性標註所有屬性,或者在Context中指定列映射。

顯示指定每個訪問類的處理方式如下所示。

[Table("EMPLOYEE ")]  //指定資料庫對應表名
public class Employee
{
    [Key]  //主鍵
    [Column("ID")] //指定資料庫對應表主鍵名稱
    public long Id { get; set; }

    [Column("EMPLOYEENO")]
    public int EmployeeNo { get; set; }

    [Column("NAME")]
    public string Name { get; set; }

    [Column("BIRTHDAY")]
    public DateTime BirthDay { get; set; }

    [Column("DEPARTMENT")]
    public string Department { get; set; }

    [Column("ISVALID")]
    public bool IsValid { get; set; }
}

這種方式肯定不是很好的方法,這種方式處理起來很累贅,而且ABP框架很多基類我們是通過官方DLL來引用的,沒有或者很麻煩去修改相關的映射關係。

那麼我們考慮動態公共映射的方式處理,盡量避免這種勞而無功的方式。

我們知道ABP框架中的EntityFrameworkCore項目裡面,我們可以通過程式碼的方式修改它們和表、欄位的映射關係,我們的規則就是讓它(表名、欄位名)變為大寫,這樣即使它們使用了限定符,也不改變SQL的處理結果。

我們修改EF模型OnModelCreating的處理邏輯,如下程式碼所示,紅框部分就是我們改變問題所在的核心。

運行Host啟動項目,我們發現後端的Swagger能夠正常打開,成功了第一步了。

 

 

2、使用Oracle的序列和觸發器解決自增ID的問題 

不過登陸進入的時候,會發現出現 違反唯一約束條件的錯誤,這個是由於登錄的時候,無法寫入日誌,因為無法讓這個表的自增ID為NULL,違反了數據約束規則。

到這裡,我們Oracle方面基本上就解決了大問題了,不過就是還有一個自增長的問題。

INSERT INTO "C##ABP"."ABPUSERTOKENS" ("EXPIREDATE", "LOGINPROVIDER", "NAME", "TENANTID", "USERID", "VALUE")
VALUES (:p0, :p1, :p2, :p3, :p4, :p5)
RETURNING "ID" INTO "lABPUSERTOKENS_0"(1)."ID";
OPEN :cur1 FOR SELECT "lABPUSERTOKENS_0"(1)."ID" FROM DUAL;
END;
ERROR 2021-08-14 17:27:18,636 [52   ] osoft.EntityFrameworkCore.Infrastructure - 2021-08-14 17:27:18.636902 ThreadID:52  (ERROR)   OracleExecutionStrategy.ExecuteAsync() :  Microsoft.EntityFrameworkCore.DbUpdateException: An error occurred while updating the entries. See the inner exception for details.
 ---> Oracle.ManagedDataAccess.Client.OracleException (0x80004005): ORA-00001: 違反唯一約束條件 (C##ABP.PK_ABPUSERTOKENS)
ORA-06512: 在 line 13

 

Oracle插入數據倒是和其他資料庫差別不大,但是由於Oracle天生是沒有自增Id的,如果我們設計的表的主鍵需要採用自增鍵就需要使用Sequence序列代替,通過序列和觸發器的方式結合,我們可以順利解決自增長的問題。

我們一般通過序列和觸發器的結合,自動為自增長ID寫入對應的起步值,定義Oracle序列和觸發器的程式碼如下所示。

--表 WEB_SITEARTICLE 的自增序列和觸發器
CREATE SEQUENCE WEB_SITEARTICLE_ID_AUTO
MINVALUE 1  --定義序列的初始值(即產生的第一個值),默認為1。
MAXVALUE 99999999999
START WITH 70   --因為表中已有3條數據,所以要從第4開始,如果尚未插入數據,那寫1即可。
INCREMENT BY 1 --用於定義序列的步長,如果省略,則默認為1,如果出現負值,則代表序列的值是按照此步長遞減的。
NOCYCLE --CYCLE代表循環,NOCYCLE代表不循環。
NOCACHE; --CACHE建立緩衝區,NOCACHE不建緩衝區

CREATE OR REPLACE TRIGGER WEB_SITEARTICLE_ID_TRIGGER
BEFORE INSERT ON WEB_SITEARTICLE --before:表示在資料庫動作之前觸發器執行; after:表示在資料庫動作之後觸發器執行。
FOR EACH ROW --對錶的每一行觸發器執行一次。如果不寫,則只對整個表執行一次。
BEGIN 
SELECT WEB_SITEARTICLE_ID_AUTO.NEXTVAL INTO :NEW.ID FROM DUAL; -- :new 為一個引用最新的列值;:old 為一個引用以前的列值; 這兩個變數只有在使用了關鍵字 "FOR EACH ROW"時才存在.且update語句兩個都有,而insert只有:new ,delect 只有:old;
END WEB_SITEARTICLE_ID_TRIGGER;

下面就是我們實際的文件中,為ABP框架的Oracle表創建序列和觸發器的SQL程式碼截圖。

執行後,我們就可以通過PLSQL查看到對應的序列和觸發器列表,並可以進行適當的調整了。

序列如下:

觸發器列表如下所示。

 弄完這些,如果我們的Oracle表和數據都準備好了,那麼就沒有什麼問題了,已經可以正常使用ABP框架在Oracle上跑了。

由於我們之前已經通過Navicat的方式遷移傳輸了SQLserver的數據,我們可以順利跑起來ABP框架了,整套框架包括了WebAPI後端的Swagger管理、Vue&Element的管理前端、Winform管理前端,以及公司門戶網站幾個部分。

ABP 框架Swagger介面端

 

ABP框架之Vue&Element端

ABP框架之Winform端

 

 ABP框架之公司門戶網站

   

3、SQLServer結構和數據遷移到Oracle

我在上篇隨筆《ABP框架使用Mysql資料庫,以及基於SQLServer創建Mysql資料庫的架構和數據》也詳細介紹過使用Navicat工具實現SQLserver 資料庫遷移到Mysql的處理方式,這裡依舊使用這個方式,實現SQLserver 資料庫遷移到Oracle。

首先我們需要創建對應的Oracle用戶和表空間,用來承載表的結構和數據的存儲。如果我們是基於Oracle的DMP導出文件,那麼可以不用提前創建用戶和表控制項也行。

注意,由於ABP框架使用的資料庫表和鍵名稱等的標識超過了30個字元,而Oracle12c以下版本不支援超過30個字元的標識,因此本ABP項目以Oracle12c起步的資料庫,用於解決這個標識問題。

由於Oracle12C的創建全局用戶,需要以C##開始,因此創建用戶的程式碼和Oracle11的有所差異。

下面是基於Oracle12C的創建用戶和表空間SQL程式碼。用戶名為C##ABP,密碼為abp

create tablespace abp_tbs datafile 'C:\app\Administrator\virtual\oradata\orcl\whcdb\abp_tbs.dbf' size 100M;
--DROP TABLESPACE abp_tbs INCLUDING CONTENTS AND DATAFILES CASCADE CONSTRAINTS;
create user C##ABP identified by abp default tablespace abp_tbs;

grant connect,resource to C##ABP; 
grant dba to C##ABP;
--Revoke dba from C##ABP;

弄完這些準備工作,就到Navicat工具出場了。

 通過數據傳輸的方式,我們構建Oracle數據的處理,分別設置源和目標的配置。

 並注意通過選項的方式,設置好傳輸的規則。

 

其中我們需要設置讓標識轉換為大寫,這個符合Oracle的處理規則,否則用了雙引號的標識符,就不正確了。

另外遇到錯誤繼續,是因為Oracle 的遷移,有些記錄無法順利處理,我們可以通過手工的方式補齊它,特別是NCLOB的內容,有些限制。

 選定好相關的表內容,就可以繼續一步步完成即可創建和導出表數據了。

最後我們通過PLSQL查看相關的表內容如下所示。

 到這裡,切換Oracle的後端程式碼,以及資料庫的數據,包括創建對應自增記錄欄位ID的序列和觸發器的處理也完成了,這樣就可以順利完成整個Oracle的遷移和處理了。