.NET 資料庫大數據方案（插入、更新、刪除、查詢 、插入或更新）

2024-02-13碼農

功能介紹

海量數據操作ORM效能瓶頸在實體轉換上面，並且不能使用常規的Sql去實作

當列越多轉換越慢，SqlSugar將轉換效能做到極致，並且采用資料庫最佳API

操作資料庫達到極限效能，當然你如果不用sqlsugar了解一下原理也可以使用其他ORM實作

BulkCopy

BulkCopy是一種用於高效批次插入大量數據到資料庫的技術。其原理是利用資料庫系統提供的高效能數據匯入介面，將數據以批次的方式一次性寫入資料庫，而不是逐條插入。這種方法比逐條插入要快得多，因為減少了資料庫操作的次數，從而降低了系統開銷

db.Fastest<DC_Scene>().BulkCopy(lstData); db.Fastest<Order>().PageSize(100000).BulkCopy(insertObjs); //Winfom中要用Task.Run 底層是異步實作

BulkUpdate

使用BulkCopy將大量數據快速匯入臨時表中。然後，透過表與表之間的高效操作（如UPDATE語句）進行數據更新，而不是逐條處理。這種方法降低了資料庫操作的頻率，減少了系統開銷，從而提高了更新效率。最後，及時清理臨時表，確保數據的一致性和資料庫效能的穩定性。這種策略在大規模數據更新時能夠顯著提升效能和效率

db.Fastest<RealmAuctionDatum>().BulkUpdate(GetList())//更新 db.Fastest<RealmAuctionDatum>().PageSize(100000).BulkUpdate(GetList())//更新 //Winfom中要用Task.Run 底層是異步實作

BulkMerge （5.1.4.109）

大數據：插入或者更新

原理Oracle和SqlServer使用了Merge Into+BulkCopy ，其他庫使用分頁+BulkCopy +查詢驗證

db.Fastest<Order>().BulkMerge(List); db.Fastest<Order>().PageSize(100000).BulkMerge(List); //Winfom中要用Task.Run 底層是異步實作

使用BulkCopy將需要更新的數據批次匯入到臨時表（或者使用臨時記憶體表）中。

使用MERGE INTO語句將臨時表中的數據與目標表進行比較和合並。根據需要更新的條件，判斷是否執行更新操作，同時可以在MERGE INTO語句中指定需要更新的列。透過免洗的批次操作，實作了大規模數據的高效更新，減少了資料庫操作的次數，提高了效能。

這種方法結合了資料庫的批次匯入和靈活的條件更新，適用於需要處理大規模數據更新的場景，提供了高效、快速的數據更新解決方案。

BulkQuery

純手工指定對映+Emit繫結防止型別沖突引起的裝拆和拆箱並且預熱後達到原生水準

db.Queryable<Order>().ToList(); //分頁降低記憶體適合復雜的DTO轉換和匯出 List<Order> order = new List<Order>(); db.Queryable<Order>().ForEach(it=> { order.Add(it); /*禁止這兒操作資料庫因為會迴圈*/} ,2000);

BulkDelete

刪除操作慢的原因包括事務處理、索引更新、並行釘選、數據量大、觸發器和硬體效能等。為提高效能，可分批次刪除。

db.Deleteable<Order>(list).PageSize(1000).ExecuteCommand();

Select INTO

表和表之間的匯入，如果在同一個庫中並且表已存在效能比bulkcopy要快些

SelectINTO 表和表之間的匯入 //例1：不同實體插入 SelectInto db.Queryable<Order>() //.IgnoreColumns(it=>it.Id) 如果是自增可以忽略，不過ID就不一樣了 .Select(it=>new { name=it.name,......}) .IntoTable<實體2>(); //例2: 同實體不同表插入 db.Queryable<Order>() //.IgnoreColumns(it=>it.Id) 如果是自增可以忽略，不過ID就不一樣了 .IntoTable<Order>("新表名");