erlang on_load_function_failed排查过程解析_Erlang

概述

在做mongo建连优化时，突然发现打出的包无法启动。有日志如下：

{"kernel pid terminated",application_controller,"{application_start_failure,kernel,{{shutdown,{failed_to_start_child,kernel_safe_sup,{on_load_function_failed,fast_pbkdf2}}},{kernel,start,[normal,[]]}}}"}
kernel pid terminated (application_controller) ({application_start_failure,kernel,{{shutdown,{failed_to_start_child,kernel_safe_sup,{on_load_function_failed,fast_pbkdf2}}},{kernel,start,[normal,[]]}}}

原因是打包机的环境变更，导致：

root@xxxxx:/srv/apps/xxxxx/lib/fast_pbkdf2-1.0.5/priv# ldd fast_pbkdf2.so 
        linux-vdso.so.1 =>  (0x00007ffc71bc6000)
        libcrypto.so.1.1 => not found
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007faf60b69000)
        /lib64/ld-linux-x86-64.so.2 (0x00007faf61139000)

排查过程

回滚代码到可启动包代码。重新打包，也无法启动。
基本判定是打包机环境变更问题。并找了打包机的管理同学。
设可运行包为a，不可运行包为b，对比a, b的差异。
a, b包均可在开发环境正常运行。
nm 命令对比 a/b 的fast_pbkdf2.so symbols。
用 erlang crash viewer 查看 crashdump，无有效信息。
打包机管理同学发现回滚mongodb安装后问题修复。

ldd 命令发现真正问题：打包机安装mongodb后，fast_pbkdf2.so link到了libcrypto.so.1.1，而之前是 libcrypto.so.1.0.0，我本地开发环境有libcrypto.so.1.1，故a, b都可运行，而生产容器只有 libcrypto.so.1.0.0,所以运行失败。

代码

otp-24.1
init.erl:1465

erlang load 失败时，会on_load_function_failed。这里除了load失败的模块，没有携带任何有效信息。

run_on_load_handlers([m|ms], debug) ->
 debug(debug, {running_on_load_handler,m}),
 fun = fun() ->
       res = erlang:call_on_load_function(m),
       exit(res)
   end,
 {pid,ref} = spawn_monitor(fun),
 receive
 {'down',ref,process,pid,onloadres} ->
     keep = onloadres =:= ok,
     erlang:finish_after_on_load(m, keep),
     case keep of
     false ->
         error = {on_load_function_failed,m},
         debug(debug, error),
         exit(error);
     true ->
         debug(debug, {on_load_handler_returned_ok,m}),
         run_on_load_handlers(ms, debug)
     end
 end;
run_on_load_handlers([], _) -> ok.