Node.js 子線程 Crash 問題的排查
前言：昨天碰到了一個 worker_threads crash 的問題，最終經(jīng)過閱讀源碼和調(diào)試找到了具體原因。不得不說，閱讀源碼是解決問題的非常有效的方法。
代碼例子如下。
index.js:
const addon = require.resolve('./build/Release/addon.node');
// this makes addon not be unloaded
require(addon);
const { Worker } = require('worker_threads');
new Worker(`require('${addon}').start();`, {eval: true});
event_loop.cc:
#include "event_loop.h"
void on_close(uv_handle_t *handle){
delete handle;
}
void cleanup(void* data){
uv_close((uv_handle_t *)data, on_close);
}
void Start(const Napi::CallbackInfo &args){
Napi::Env env = args.Env();
uv_loop_t *loop;
v8::Isolate* isolate = v8::Isolate::GetCurrent();
napi_get_uv_event_loop(env, &loop);
uv_prepare_t* prepare_handle = new uv_prepare_t;
uv_prepare_init(loop, prepare_handle);
uv_unref((uv_handle_t *)prepare_handle);
uv_prepare_start(prepare_handle, [](uv_prepare_t *handle) {});
node::AddEnvironmentCleanupHook(isolate, cleanup, prepare_handle);
}
Napi::Object Initialize(Napi::Env env, Napi::Object exports){
exports.Set(Napi::String::New(env, "start"), Napi::Function::New(env, Start));
return exports;
}
NODE_API_MODULE(NODE_GYP_MODULE_NAME, Initialize)
總的來說就是我需要在 worker_threads 里使用 addon，然后在子線程退出時發(fā)生了 segmentation fault，但是在主線程里是沒問題的（完整代碼可參考 https://github.com/theanarkh/test_worker_thread）。首先分析下上面代碼的過程，當(dāng)在 JS 層執(zhí)行 start 的時候，就會往 loop 里面插入一個任務(wù)，并通過 AddEnvironmentCleanupHook 注冊了一個回調(diào)，這個回調(diào)在線程退出時會被執(zhí)行，執(zhí)行完 start 后線程就退出了，所以這時候 AddEnvironmentCleanupHook 的回調(diào) cleanup 會被執(zhí)行，cleanup 里調(diào)用 uv_close 關(guān)閉 handle，接著在線程真正退出時會執(zhí)行一次 uv_run 處理 uv_close 的回調(diào)，從而釋放內(nèi)存。問題發(fā)生在執(zhí)行 uv_close 的回調(diào)時出現(xiàn)了 crash。通過調(diào)試發(fā)現(xiàn)調(diào)用 uv_close 時傳入的回調(diào)函數(shù)地址是 A，但是最終執(zhí)行時地址變成了 B，而 B 是一個非法地址，從而導(dǎo)致了 crash。出現(xiàn)這個問題時，我就開始調(diào)試，嘗試找出哪里修改了這個地址，但是無果，最終靠靈光一現(xiàn)，想到了動態(tài)鏈接庫被卸載的問題，然后通過打斷點發(fā)現(xiàn)果然如此。
下面通過 Node.js 的源碼來分析這個問題。
WorkerThreadData data(this);
{
Locker locker(isolate_);
Isolate::Scope isolate_scope(isolate_);
SealHandleScope outer_seal(isolate_);
DeleteFnPtr<Environment, FreeEnvironment> env_;
// 離開作用域時執(zhí)行 env_.reset();
auto cleanup_env = OnScopeLeave([&]() {
isolate_->CancelTerminateExecution();
env_.reset();
});
// 初始化子線程
{
HandleScope handle_scope(isolate_);
Local<Context> context;
{
TryCatch try_catch(isolate_);
context = NewContext(isolate_);
}
Context::Scope context_scope(context);
{
env_.reset(CreateEnvironment(
data.isolate_data_.get(),
context,
std::move(argv_),
std::move(exec_argv_),
static_cast<EnvironmentFlags::Flags>(environment_flags_),
thread_id_,
std::move(inspector_parent_handle_)));
}
{
Mutex::ScopedLock lock(mutex_);
if (stopped_) return;
this->env_ = env_.get();
}
{
if (LoadEnvironment(env_.get(), StartExecutionCallback{}).IsEmpty())
return;
}
}
// 進入子線程事件循環(huán)
{
Maybe<int> exit_code = SpinEventLoop(env_.get());
Mutex::ScopedLock lock(mutex_);
if (exit_code_ == 0 && exit_code.IsJust()) {
exit_code_ = exit_code.FromJust();
}
}
}
上面是子線程執(zhí)行時的核心邏輯，當(dāng)子線程退出時，OnScopeLeave 的第一個函數(shù)參數(shù)會被執(zhí)行，從而執(zhí)行 env_.reset()，接著執(zhí)行 FreeEnvironment。
void FreeEnvironment(Environment* env) {
Isolate* isolate = env->isolate();
Isolate::DisallowJavascriptExecutionScope disallow_js(isolate,
Isolate::DisallowJavascriptExecutionScope::THROW_ON_FAILURE);
{
HandleScope handle_scope(isolate); // For env->context().
Context::Scope context_scope(env->context());
SealHandleScope seal_handle_scope(isolate);
env->set_stopping(true);
env->stop_sub_worker_contexts();
// 執(zhí)行 AddEnvironmentCleanupHook 回調(diào)
env->RunCleanup();
RunAtExit(env);
}
MultiIsolatePlatform* platform = env->isolate_data()->platform();
if (platform != nullptr)
platform->DrainTasks(isolate);
// 刪除 env 對象
delete env;
}
FreeEnvironment 首先通過來 RunCleanup 執(zhí)行通過 AddEnvironmentCleanupHook 注冊的回調(diào)，回到開始的代碼就是執(zhí)行 uv_close 往 loop 里插入一個回調(diào)。接著 FreeEnvironment 刪除了 env 對象，接下來看 env 的析構(gòu)函數(shù)中相關(guān)的代碼。
if (!is_main_thread()) {
for (binding::DLib& addon : loaded_addons_) {
addon.Close();
}
}
如果當(dāng)前是子線程，析構(gòu)函數(shù)會調(diào)用 addon.Close() 關(guān)閉動態(tài)鏈接庫，也就是 addon，當(dāng) addon 的引用數(shù)為 0 就會被卸載。因為只有子線程里用到了 addon 所以 addon 會被卸載。這時候 uv_close 回調(diào)函數(shù)的地址就被修改了。env 處理完之后，接著是 WorkerThreadData 被析構(gòu)，WorkerThreadData 析構(gòu)函數(shù)中會再執(zhí)行一次 uv_run 處理剩下的任務(wù)。
uv_run(&loop_, UV_RUN_ONCE);
所以 uv_close 的回調(diào)就會被執(zhí)行，因為這時候回調(diào)函數(shù)的地址被修改成非法的了，所以導(dǎo)致了 crash。除了這個問題外，子線程退出前還會檢查 loop，如果還有任務(wù)沒有被關(guān)閉也會導(dǎo)致線程 crash。
void CheckedUvLoopClose(uv_loop_t* loop) {
if (uv_loop_close(loop) == 0) return;
PrintLibuvHandleInformation(loop, stderr);
fflush(stderr);
// Finally, abort.
CHECK(0 && "uv_loop_close() while having open handles");
}
再看 uv_loop_close:
int uv_loop_close(uv_loop_t* loop) {
QUEUE* q;
uv_handle_t* h;
if (uv__has_active_reqs(loop))
return UV_EBUSY;
QUEUE_FOREACH(q, &loop->handle_queue) {
h = QUEUE_DATA(q, uv_handle_t, handle_queue);
if (!(h->flags & UV_HANDLE_INTERNAL))
return UV_EBUSY;
}
uv__loop_close(loop);
if (loop == default_loop_ptr)
default_loop_ptr = NULL;
return 0;
}
總結(jié)：這個問題排查了很長的時間，最終靠一個切入點成功找到了問題，并通過源碼深入了解了這個過程。源碼，是學(xué)習(xí)一門技術(shù)非常重要的資料。
