EF Core優(yōu)化技巧之預(yù)熱處理
今天和聽(tīng)到同事們?cè)谟懻撘粋€(gè)關(guān)于使用EFCore時(shí)，為什么第一次查詢數(shù)據(jù)庫(kù)總是很慢的原因。我們?cè)诠ぷ髦薪?jīng)常使用EFCore進(jìn)行數(shù)據(jù)訪問(wèn)，但發(fā)現(xiàn)每次第一次查詢都需要較長(zhǎng)的時(shí)間，這給我們帶來(lái)了困擾。因此，我們聚在一起，探討了這個(gè)問(wèn)題的原因和可能的解決方案。通過(guò)查詢相關(guān)資料，于是就有了這篇博客，現(xiàn)在分享給有需要的你。
EFCore首次使用緩慢
在使用Entity Framework Core（EF Core）時(shí)，首次查詢可能會(huì)比較慢，這是因?yàn)镋F Core需要進(jìn)行模型構(gòu)建、元數(shù)據(jù)加載、數(shù)據(jù)庫(kù)連接建立和查詢計(jì)劃生成等操作。那么有什么辦法可以解決這個(gè)問(wèn)題呢，答案之一就是使用EF Core的預(yù)熱來(lái)處理問(wèn)題。
什么是EF Core的預(yù)熱問(wèn)題？
EF Core是一個(gè)輕量級(jí)、可擴(kuò)展的ORM（對(duì)象關(guān)系映射）框架，用于在.NET應(yīng)用程序中處理數(shù)據(jù)庫(kù)操作。在應(yīng)用程序啟動(dòng)時(shí)，EF Core需要進(jìn)行一些初始化操作，如構(gòu)建模型、加載元數(shù)據(jù)和建立數(shù)據(jù)庫(kù)連接等。這些操作會(huì)導(dǎo)致首次查詢的耗時(shí)增加，影響應(yīng)用程序的性能。當(dāng)使用Entity Framework Core（EF Core）進(jìn)行數(shù)據(jù)庫(kù)操作時(shí)，會(huì)涉及以下幾個(gè)操作：
- 模型構(gòu)建（Model Building）：在使用EF Core之前，需要定義領(lǐng)域模型（Domain Model），即表示數(shù)據(jù)庫(kù)表格的CLR對(duì)象。可以使用屬性注解、Fluent API或?qū)崿F(xiàn)IEntityTypeConfiguration接口等方式來(lái)配置模型。在運(yùn)行時(shí)，EF Core會(huì)根據(jù)模型定義生成相應(yīng)的數(shù)據(jù)庫(kù)表結(jié)構(gòu)。
- 元數(shù)據(jù)加載（Metadata Loading）：EF Core通過(guò)反射和模型構(gòu)建過(guò)程中的元數(shù)據(jù)提供程序來(lái)加載模型的元數(shù)據(jù)。這些元數(shù)據(jù)包括實(shí)體類(lèi)型的屬性、關(guān)系、索引等信息。在第一次創(chuàng)建DbContext實(shí)例時(shí)，EF Core會(huì)從模型構(gòu)建器中加載元數(shù)據(jù)。
- 數(shù)據(jù)庫(kù)連接建立（Database Connection Establishment）：當(dāng)執(zhí)行數(shù)據(jù)庫(kù)操作時(shí)，EF Core會(huì)根據(jù)配置連接字符串（Connection String）建立與數(shù)據(jù)庫(kù)的連接。連接字符串包含數(shù)據(jù)庫(kù)服務(wù)器的地址、身份驗(yàn)證方式、數(shù)據(jù)庫(kù)名稱(chēng)等信息。EF Core會(huì)根據(jù)連接字符串選擇合適的數(shù)據(jù)庫(kù)提供程序來(lái)建立連接。
- 查詢計(jì)劃生成（Query Plan Generation）：當(dāng)執(zhí)行查詢操作時(shí)，EF Core會(huì)將LINQ查詢表達(dá)式或查詢方法轉(zhuǎn)換為相應(yīng)的SQL查詢語(yǔ)句。這個(gè)過(guò)程稱(chēng)為查詢翻譯（Query Translation）。EF Core會(huì)根據(jù)查詢表達(dá)式和模型的元數(shù)據(jù)生成查詢計(jì)劃，包括選擇合適的表格、列、關(guān)聯(lián)以及執(zhí)行順序等。
上述的操作都是在第一次進(jìn)行數(shù)據(jù)庫(kù)查詢時(shí)執(zhí)行的，因此首次查詢可能會(huì)比較慢。這是因?yàn)镋F Core需要進(jìn)行模型構(gòu)建、元數(shù)據(jù)加載、數(shù)據(jù)庫(kù)連接建立和查詢計(jì)劃生成等操作。為了優(yōu)化應(yīng)用程序的性能，可以采取預(yù)熱操作，提前執(zhí)行這些操作，從而減少首次查詢的耗時(shí)。
預(yù)熱EF Core的解決方案
為了解決EF Core的預(yù)熱問(wèn)題，我們可以采取以下措施來(lái)優(yōu)化應(yīng)用程序的性能：
1. 顯式調(diào)用EnsureCreated方法
在EF Core 3.0及更高版本中，可以通過(guò)顯式調(diào)用EnsureCreated方法來(lái)預(yù)先構(gòu)建模型并加載元數(shù)據(jù)。這樣，在第一次查詢時(shí)，EF Core就不需要再執(zhí)行這些操作，從而減少查詢的耗時(shí)。示例代碼如下：
using (var context = new MyDbContext())
{
context.Database.EnsureCreated();
}2. 執(zhí)行遷移操作
如果應(yīng)用程序使用了EF Core的遷移功能，我們可以在應(yīng)用程序啟動(dòng)時(shí)執(zhí)行遷移操作。這可以通過(guò)調(diào)用Database.Migrate方法來(lái)實(shí)現(xiàn)。該方法會(huì)執(zhí)行所有的遷移操作，并初始化數(shù)據(jù)庫(kù)中的表結(jié)構(gòu)和數(shù)據(jù)。示例代碼如下：
using (var context = new MyDbContext())
{
context.Database.Migrate();
}3. 預(yù)熱連接池
EF Core使用連接池來(lái)管理數(shù)據(jù)庫(kù)連接。在應(yīng)用程序啟動(dòng)時(shí)，我們可以預(yù)先創(chuàng)建和配置一組數(shù)據(jù)庫(kù)連接，以減少首次查詢時(shí)連接建立的時(shí)間。這可以通過(guò)設(shè)置連接池的MinPoolSize屬性和調(diào)用連接的Open方法來(lái)實(shí)現(xiàn)。示例代碼如下：
var connectionString = "Server=(localdb)\\mssqllocaldb;Database=MyDatabase;Trusted_Connection=True;";
for (int i = 0; i < 10; i++)
{
var connection = new SqlConnection(connectionString);
connection.Open();
connection.Close();
}測(cè)試預(yù)熱與不預(yù)熱的對(duì)比
為了驗(yàn)證預(yù)熱操作對(duì)EF Core性能的影響，我們可以編寫(xiě)測(cè)試代碼來(lái)比較預(yù)熱與不預(yù)熱的情況下的查詢執(zhí)行時(shí)間。具體步驟如下：
- 創(chuàng)建一個(gè)簡(jiǎn)單的測(cè)試應(yīng)用程序，包含一個(gè)使用EF Core的查詢操作。
- 在應(yīng)用程序的入口點(diǎn)處，分別添加預(yù)熱操作和不預(yù)熱操作的代碼。
- 編寫(xiě)測(cè)試方法，分別對(duì)應(yīng)預(yù)熱和不預(yù)熱的情況。在每個(gè)測(cè)試方法中，創(chuàng)建一個(gè)新的DbContext實(shí)例，并執(zhí)行相同的查詢操作。
- 使用Stopwatch類(lèi)來(lái)測(cè)量每個(gè)測(cè)試方法的執(zhí)行時(shí)間，并比較兩者之間的差異。
通過(guò)以上步驟，我們可以得出預(yù)熱與不預(yù)熱的情況下查詢執(zhí)行時(shí)間的對(duì)比結(jié)果，從而判斷預(yù)熱操作對(duì)EF Core性能的影響。
示例代碼
1.初始化數(shù)據(jù)庫(kù)，寫(xiě)入10萬(wàn)條數(shù)據(jù)
using System;
using Microsoft.EntityFrameworkCore;
namespace EFCoreWarmup
{
// 定義實(shí)體類(lèi)
public class User
{
public int Id { get; set; }
public string Name { get; set; }
}
// 定義數(shù)據(jù)庫(kù)上下文
public class AppDbContext : DbContext
{
protected override void OnConfiguring(DbContextOptionsBuilder optionsBuilder)
{
string connectionString = "Data Source=mydb.db";
optionsBuilder.UseSqlite(connectionString);
}
public DbSet<User> Users { get; set; }
}
class Program
{
// 初始化并添加10萬(wàn)條記錄
static void InitializeAndAddRecords(AppDbContext context)
{
const int recordsToAdd = 100000;
for (int i = 1; i <= recordsToAdd; i++)
{
context.Users.Add(new User { Name = $"User_{i}" });
// 每1000條保存一次以提高效率
if (i % 1000 == 0)
{
context.SaveChanges();
context.Dispose();
context = new AppDbContext(); // 重新創(chuàng)建上下文以確保內(nèi)存管理
}
Console.WriteLine(i);
}
}
static void Main(string[] args)
{
using(var db = new AppDbContext())
{
db.Database.EnsureCreated();
InitializeAndAddRecords(db);
}
}
}
}2.預(yù)熱前的執(zhí)行查詢
/// <summary>
/// 測(cè)試預(yù)熱前執(zhí)行查詢
/// </summary>
static void TestEfCoreWithoutWarmup()
{
var stopwatch = Stopwatch.StartNew();
using (var context = new AppDbContext())
{
var users = context.Users.ToList().Take(100);
}
stopwatch.Stop();
Console.WriteLine($"預(yù)熱前執(zhí)行時(shí)間: {stopwatch.ElapsedMilliseconds} ms");
}
static void Main(string[] args)
{
TestEfCoreWithoutWarmup();
}運(yùn)行結(jié)果：
3.預(yù)熱后的執(zhí)行查詢
/// <summary>
/// 測(cè)試預(yù)熱后執(zhí)行查詢
/// </summary>
static void TestEfCoreWithWarmup()
{
var stopwatch = Stopwatch.StartNew();
using (var context = new AppDbContext())
{
var users = context.Users.ToList();
}
stopwatch.Stop();
Console.WriteLine($"預(yù)熱后執(zhí)行時(shí)間: {stopwatch.ElapsedMilliseconds} ms");
}
static void Main(string[] args)
{
// 執(zhí)行預(yù)熱
using (var context = new AppDbContext())
{
context.Database.EnsureCreated();
}
TestEfCoreWithWarmup();
}運(yùn)行結(jié)果：
運(yùn)行結(jié)果對(duì)比
預(yù)熱前后的對(duì)比，有接近1.2s的差距。由此可見(jiàn)預(yù)熱的情況，在一定程度上提高了首次執(zhí)行的效率。
EF Core 預(yù)熱處理的優(yōu)化技巧
提前執(zhí)行一些查詢操作，以便 EF Core 可以緩存查詢計(jì)劃、連接到數(shù)據(jù)庫(kù)并建立連接池等資源，下面是一些 EF Core 預(yù)熱處理的優(yōu)化技巧：
- 在應(yīng)用程序啟動(dòng)時(shí)進(jìn)行預(yù)熱處理：在應(yīng)用程序啟動(dòng)時(shí)，執(zhí)行一些常見(jiàn)的查詢操作，以便 EF Core 可以緩存查詢計(jì)劃并建立數(shù)據(jù)庫(kù)連接池。這樣，在后續(xù)的請(qǐng)求中，EF Core 就可以直接使用已經(jīng)建立好的連接和查詢計(jì)劃，提高性能和響應(yīng)速度。
- 使用后臺(tái)任務(wù)進(jìn)行預(yù)熱處理：可以將預(yù)熱處理操作放在一個(gè)后臺(tái)任務(wù)中，以避免應(yīng)用程序啟動(dòng)時(shí)的阻塞。例如，可以使用 .NET Core 中的 Hosted Service 或者定時(shí)任務(wù)庫(kù)（如 Hangfire）來(lái)執(zhí)行預(yù)熱處理。
- 選擇適當(dāng)?shù)牟樵冞M(jìn)行預(yù)熱處理：根據(jù)應(yīng)用程序的需求，選擇一些常用的查詢進(jìn)行預(yù)熱處理。這些查詢通常是應(yīng)用程序中頻繁執(zhí)行的查詢，可以幫助 EF Core 建立查詢計(jì)劃并緩存結(jié)果，從而提高性能。
- 注意預(yù)熱處理的時(shí)機(jī)和頻率：預(yù)熱處理不應(yīng)該過(guò)于頻繁，否則可能會(huì)對(duì)數(shù)據(jù)庫(kù)造成額外的負(fù)擔(dān)。根據(jù)應(yīng)用程序的特點(diǎn)和數(shù)據(jù)庫(kù)的性能，選擇適當(dāng)?shù)臅r(shí)機(jī)和頻率進(jìn)行預(yù)熱處理。
- 監(jiān)控和調(diào)整預(yù)熱處理的效果：在進(jìn)行預(yù)熱處理后，監(jiān)控應(yīng)用程序的性能和響應(yīng)速度變化。如果發(fā)現(xiàn)預(yù)熱處理沒(méi)有達(dá)到預(yù)期的效果，可以考慮調(diào)整預(yù)熱處理的查詢內(nèi)容或者時(shí)機(jī)。
總結(jié)
EF Core的預(yù)熱問(wèn)題是由于模型構(gòu)建、元數(shù)據(jù)加載、數(shù)據(jù)庫(kù)連接建立和查詢計(jì)劃生成等操作導(dǎo)致的。為了提高應(yīng)用程序的性能，我們可以采取上述解決方案來(lái)優(yōu)化EF Core的預(yù)熱問(wèn)題。通過(guò)顯式調(diào)用EnsureCreated方法、執(zhí)行遷移操作和預(yù)熱連接池，我們可以減少首次查詢的耗時(shí)，并提升應(yīng)用程序的性能。
希望本文對(duì)你理解和解決EF Core的預(yù)熱問(wèn)題有所幫助！
