ABP框架使用Oracle資料庫,並實現從SQLServer中進行數據遷移的處理
ABP框架的數據訪問底層是基於EFCore(Entity Framework Core)的,是微軟標誌性且成熟的ORM,因此它本身是支援多種主流資料庫MySQL,SqlServer,Oracle,SQLite等等的,我在上篇隨筆《ABP框架使用Mysql資料庫,以及基於SQLServer創建Mysql資料庫的架構和數據》已經詳細介紹過如何從SQLServer遷移支援Mysql資料庫的操作,同時介紹如何從SQLServer基礎數據,通過Navicat工具,實現資料庫遷移到Mysql上去。本篇隨筆繼續介紹ABP框架實現Oracle的適配和資料庫的遷移處理。
1、ABP框架中Oracle資料庫的適配處理
ABP框架底層是使用EFCore來實現數據處理的,框架默認是使用SQLServer資料庫的,如果需要切換到Oracle資料庫上去,使用EF Core操作Oracle資料庫,首先需要安裝Oracle.EntityFrameworkCore,可以直接在NuGet上直接搜索安裝即可。
首先在ABP框架的EntityFrameworkCore項目右鍵上選擇【管理NuGet程式包】,然後 搜索Oracle,選擇Oracle.ManagedDataAccess.Core和Oracle.EntityFrameworkCore即可,如下所示。
Oracle.ManagedDataAccess.Core是基於ODP的.netcore的驅動程式,是我們訪問Oracle的時候,擺脫X86,X64的繁瑣限制。
這個Oracle的ODP.NET方式,之前在微軟企業庫的相關框架就已經用過,非常不錯,有興趣可以參考隨筆《在開發框架中擴展微軟企業庫,支援使用ODP.NET(Oracle.ManagedDataAccess.dll)訪問Oracle資料庫》了解一下。
它的連接字元串類似下面的格式
<add name="oracle3" providerName="OracleManaged" connectionString="Data Source=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=localhost)(PORT=1521))(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME=orcl)));User ID=win;Password=win" />
如果是我們目前ABP框架,這是採用appSetting.json的方式了,格式如下所示。
"ConnectionStrings": { "Default": "Server=.\\SQL2014; Database=MyProjectDb; Trusted_Connection=True;", "Oracle": "Data Source=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=localhost)(PORT=1521))(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME=orcl)));User ID=C##ABP;Password=abp", "MySql": "Server=localhost;Database=myprojectdb;Uid=root;Pwd=123456;", "PostgreSQL": "Server=localhost;Port=5432;Database=myprojectdb;User Id=postgres;Password=123456" },
安裝了Oracle的兩個驅動文件,我們就需要調整一下對應的程式碼了,參考隨筆《ABP框架使用Mysql資料庫,以及基於SQLServer創建Mysql資料庫的架構和數據》的處理,我們調整非常方便。
支援,我們感覺好像Oracle的應該調整的差不多了,嘗試把項目編譯運行,會發現有錯誤出現:ORA-00942: 表或視圖不存在。
這個問題開始挺困惑的,而且ABP框架切換到Oracle的相關文章介紹也很少,網上很多做法後來回想起來,他們處理都是不太正確的,至少對於當前EFCore的處理來說,不是正確的。
要了解這個問題:ORA-00942: 表或視圖不存在,我們需要來看看EFCore底層對錶名和欄位的限定符處理邏輯了,我們查看host啟動項目的錯誤日誌,得到如下提示。
ERROR 2021-08-15 16:12:46,603 [1 ] oft.EntityFrameworkCore.Database.Command - Failed executing DbCommand (114ms) [Parameters=[], CommandType='Text', CommandTimeout='0']
SELECT "a"."Id", "a"."CreationTime", "a"."CreatorUserId", "a"."DeleterUserId", "a"."DeletionTime", "a"."Discriminator", "a"."DisplayName", "a"."IsDeleted", "a"."LastModificationTime", "a"."LastModifierUserId", "a"."Name", "a"."AnnualPrice", "a"."DailyPrice", "a"."ExpiringEditionId", "a"."MonthlyPrice", "a"."TrialDayCount", "a"."WaitingDayAfterExpire", "a"."WeeklyPrice"
FROM "AbpEditions" "a"
WHERE "a"."Name" = N'Standard'
FETCH FIRST 1 ROWS ONLY
我們可以看到生成的訪問SQL,它使用了雙引號作為限定符。
生成的Sql中是將所有的表名和欄位名都用雙引號修飾的,而Oracle中存儲欄位名默認都是採用全大寫的形式的,它們是不對應的,使用雙引號的對象名稱,是大小寫敏感的,如下在PLSQL中執行語句。
而不使用限定符的字元串對象,默認是按大寫方式來處理的,如下結果所示。
所以如果我們不想將實體類所有的屬性名稱寫成大寫,就需要顯式的指定映射的column的名稱。可以使用DataAnnotations的特性標註所有屬性,或者在Context中指定列映射。
顯示指定每個訪問類的處理方式如下所示。
[Table("EMPLOYEE ")] //指定資料庫對應表名 public class Employee { [Key] //主鍵 [Column("ID")] //指定資料庫對應表主鍵名稱 public long Id { get; set; } [Column("EMPLOYEENO")] public int EmployeeNo { get; set; } [Column("NAME")] public string Name { get; set; } [Column("BIRTHDAY")] public DateTime BirthDay { get; set; } [Column("DEPARTMENT")] public string Department { get; set; } [Column("ISVALID")] public bool IsValid { get; set; } }
這種方式肯定不是很好的方法,這種方式處理起來很累贅,而且ABP框架很多基類我們是通過官方DLL來引用的,沒有或者很麻煩去修改相關的映射關係。
那麼我們考慮動態公共映射的方式處理,盡量避免這種勞而無功的方式。
我們知道ABP框架中的EntityFrameworkCore項目裡面,我們可以通過程式碼的方式修改它們和表、欄位的映射關係,我們的規則就是讓它(表名、欄位名)變為大寫,這樣即使它們使用了限定符,也不改變SQL的處理結果。
我們修改EF模型OnModelCreating的處理邏輯,如下程式碼所示,紅框部分就是我們改變問題所在的核心。
運行Host啟動項目,我們發現後端的Swagger能夠正常打開,成功了第一步了。
2、使用Oracle的序列和觸發器解決自增ID的問題
不過登陸進入的時候,會發現出現 違反唯一約束條件的錯誤,這個是由於登錄的時候,無法寫入日誌,因為無法讓這個表的自增ID為NULL,違反了數據約束規則。
到這裡,我們Oracle方面基本上就解決了大問題了,不過就是還有一個自增長的問題。
INSERT INTO "C##ABP"."ABPUSERTOKENS" ("EXPIREDATE", "LOGINPROVIDER", "NAME", "TENANTID", "USERID", "VALUE")
VALUES (:p0, :p1, :p2, :p3, :p4, :p5)
RETURNING "ID" INTO "lABPUSERTOKENS_0"(1)."ID";
OPEN :cur1 FOR SELECT "lABPUSERTOKENS_0"(1)."ID" FROM DUAL;
END;
ERROR 2021-08-14 17:27:18,636 [52 ] osoft.EntityFrameworkCore.Infrastructure - 2021-08-14 17:27:18.636902 ThreadID:52 (ERROR) OracleExecutionStrategy.ExecuteAsync() : Microsoft.EntityFrameworkCore.DbUpdateException: An error occurred while updating the entries. See the inner exception for details.
---> Oracle.ManagedDataAccess.Client.OracleException (0x80004005): ORA-00001: 違反唯一約束條件 (C##ABP.PK_ABPUSERTOKENS)
ORA-06512: 在 line 13
Oracle插入數據倒是和其他資料庫差別不大,但是由於Oracle天生是沒有自增Id的,如果我們設計的表的主鍵需要採用自增鍵就需要使用Sequence序列代替,通過序列和觸發器的方式結合,我們可以順利解決自增長的問題。
我們一般通過序列和觸發器的結合,自動為自增長ID寫入對應的起步值,定義Oracle序列和觸發器的程式碼如下所示。
--表 WEB_SITEARTICLE 的自增序列和觸發器 CREATE SEQUENCE WEB_SITEARTICLE_ID_AUTO MINVALUE 1 --定義序列的初始值(即產生的第一個值),默認為1。 MAXVALUE 99999999999 START WITH 70 --因為表中已有3條數據,所以要從第4開始,如果尚未插入數據,那寫1即可。 INCREMENT BY 1 --用於定義序列的步長,如果省略,則默認為1,如果出現負值,則代表序列的值是按照此步長遞減的。 NOCYCLE --CYCLE代表循環,NOCYCLE代表不循環。 NOCACHE; --CACHE建立緩衝區,NOCACHE不建緩衝區 CREATE OR REPLACE TRIGGER WEB_SITEARTICLE_ID_TRIGGER BEFORE INSERT ON WEB_SITEARTICLE --before:表示在資料庫動作之前觸發器執行; after:表示在資料庫動作之後觸發器執行。 FOR EACH ROW --對錶的每一行觸發器執行一次。如果不寫,則只對整個表執行一次。 BEGIN SELECT WEB_SITEARTICLE_ID_AUTO.NEXTVAL INTO :NEW.ID FROM DUAL; -- :new 為一個引用最新的列值;:old 為一個引用以前的列值; 這兩個變數只有在使用了關鍵字 "FOR EACH ROW"時才存在.且update語句兩個都有,而insert只有:new ,delect 只有:old; END WEB_SITEARTICLE_ID_TRIGGER;
下面就是我們實際的文件中,為ABP框架的Oracle表創建序列和觸發器的SQL程式碼截圖。
執行後,我們就可以通過PLSQL查看到對應的序列和觸發器列表,並可以進行適當的調整了。
序列如下:
觸發器列表如下所示。
弄完這些,如果我們的Oracle表和數據都準備好了,那麼就沒有什麼問題了,已經可以正常使用ABP框架在Oracle上跑了。
由於我們之前已經通過Navicat的方式遷移傳輸了SQLserver的數據,我們可以順利跑起來ABP框架了,整套框架包括了WebAPI後端的Swagger管理、Vue&Element的管理前端、Winform管理前端,以及公司門戶網站幾個部分。
ABP 框架Swagger介面端
ABP框架之Vue&Element端
ABP框架之Winform端
ABP框架之公司門戶網站
3、SQLServer結構和數據遷移到Oracle
我在上篇隨筆《ABP框架使用Mysql資料庫,以及基於SQLServer創建Mysql資料庫的架構和數據》也詳細介紹過使用Navicat工具實現SQLserver 資料庫遷移到Mysql的處理方式,這裡依舊使用這個方式,實現SQLserver 資料庫遷移到Oracle。
首先我們需要創建對應的Oracle用戶和表空間,用來承載表的結構和數據的存儲。如果我們是基於Oracle的DMP導出文件,那麼可以不用提前創建用戶和表控制項也行。
注意,由於ABP框架使用的資料庫表和鍵名稱等的標識超過了30個字元,而Oracle12c以下版本不支援超過30個字元的標識,因此本ABP項目以Oracle12c起步的資料庫,用於解決這個標識問題。
由於Oracle12C的創建全局用戶,需要以C##開始,因此創建用戶的程式碼和Oracle11的有所差異。
下面是基於Oracle12C的創建用戶和表空間SQL程式碼。用戶名為C##ABP,密碼為abp
create tablespace abp_tbs datafile 'C:\app\Administrator\virtual\oradata\orcl\whcdb\abp_tbs.dbf' size 100M; --DROP TABLESPACE abp_tbs INCLUDING CONTENTS AND DATAFILES CASCADE CONSTRAINTS; create user C##ABP identified by abp default tablespace abp_tbs; grant connect,resource to C##ABP; grant dba to C##ABP; --Revoke dba from C##ABP;
弄完這些準備工作,就到Navicat工具出場了。
通過數據傳輸的方式,我們構建Oracle數據的處理,分別設置源和目標的配置。
並注意通過選項的方式,設置好傳輸的規則。
其中我們需要設置讓標識轉換為大寫,這個符合Oracle的處理規則,否則用了雙引號的標識符,就不正確了。
另外遇到錯誤繼續,是因為Oracle 的遷移,有些記錄無法順利處理,我們可以通過手工的方式補齊它,特別是NCLOB的內容,有些限制。
選定好相關的表內容,就可以繼續一步步完成即可創建和導出表數據了。
最後我們通過PLSQL查看相關的表內容如下所示。
到這裡,切換Oracle的後端程式碼,以及資料庫的數據,包括創建對應自增記錄欄位ID的序列和觸發器的處理也完成了,這樣就可以順利完成整個Oracle的遷移和處理了。