python3.8执行报错joblib.externals.loky.process_executor.TerminatedWorkerError

因项目需要在notebook服务python环境中拉取模型数据，在执行相关的python语句时存在如下报错：

joblib.externals.loky.process_executor.TerminatedWorkerError: A worker process managed by the executor was unexpectedly terminated. This could be caused by a segmentation fault while calling the function or by an excessive memory usage causing the Operating System to kill the worker.

这个错误是由于内存不足，导致操作系统杀死工作进程引起。

解决办法

n_jobs参数控制joblib管理的并行度数量（进程或线程取决于joblib后端）

• 减少数据集大小或使用更小的模型来减少内存使用量。
• 增加可用运行内存来缓解。
• 通过调整joblib中n_jobs参数，尝试将n_jobs设置为1或原有配置数-1。

参考文档：
https://stackoverflow.com/questions/71763118/what-is-causing-my-random-joblib-externals-loky-process-executor-terminatedwor

文章来源于互联网:python3.8执行报错joblib.externals.loky.process_executor.TerminatedWorkerError