python的内存回收机制是什么

栏目分类：其他教程    发布日期：2023-07-25    浏览次数：349次     收藏

这篇“python的内存回收机制是什么”文章的知识点大部分人都不太理解，所以小编给大家总结了以下内容，内容详细，步骤清晰，具有一定的借鉴价值，希望大家阅读完这篇文章能有所收获，下面我们一起来看看这篇“python的内存回收机制是什么”文章吧。

一：建立对象引用计数

1. 相关代码

void
_Py_NewReference(PyObject *op)
{
    if (_Py_tracemalloc_config.tracing) {
        _PyTraceMalloc_NewReference(op);
    }
#ifdef Py_REF_DEBUG
    _Py_RefTotal++;
#endif
    Py_SET_REFCNT(op, 1);
#ifdef Py_TRACE_REFS
    _Py_AddToAllObjects(op, 1);
#endif
}

2. 代码解释

_Py_NewReference

这个函数的主要目的是为新创建的Python对象建立引用计数。在CPython中，引用计数是用来管理内存的一种方法，当一个Python对象的引用计数变为零时，表示没有其他对象引用该对象，因此可以安全地将其内存回收。

下面是

_Py_NewReference

函数的各个部分的简要说明：

1. _Py_tracemalloc_config.tracing：当内存追踪功能启用时（即_Py_tracemalloc_config.tracing为真），调用_PyTraceMalloc_NewReference(op)以记录新引用的内存分配。

2. #ifdef Py_REF_DEBUG：如果启用了引用计数调试（即编译时定义了Py_REF_DEBUG），则增加全局引用计数_Py_RefTotal。

3. Py_SET_REFCNT(op, 1)：将新对象op的引用计数设置为1。

4. #ifdef Py_TRACE_REFS：如果启用了引用跟踪功能（即编译时定义了Py_TRACE_REFS），则调用_Py_AddToAllObjects(op, 1)将新对象op添加到所有对象列表中以进行跟踪。

这个函数通常在创建新的Python对象时调用，以便正确初始化引用计数。需要注意的是，这个函数是CPython内部使用的，不应该在普通Python代码或扩展模块中直接使用。

#ifdef Py_REF_DEBUG

是一个C预处理器指令，它会检查是否在编译时定义了

Py_REF_DEBUG

宏。如果定义了这个宏，那么在

#ifdef

和

#endif

之间的代码块将被编译并包含在最终的程序中。否则，这部分代码将被忽略。

Py_REF_DEBUG

宏用于启用引用计数调试功能。这个功能允许CPython开发者和扩展模块开发者在开发过程中更轻松地追踪和诊断潜在的引用计数错误。这对于调试内存泄漏或提前释放对象等问题非常有用。

当启用

Py_REF_DEBUG

时，

_Py_RefTotal

变量被用来跟踪当前分配给Python对象的总引用计数。这个全局计数器在每次创建新引用（如在

_Py_NewReference

函数中）时递增，在释放引用时递减。通过检查

_Py_RefTotal

的值，开发者可以在某些情况下发现可能的内存泄漏或错误的引用计数操作。

需要注意的是，

Py_REF_DEBUG

功能会带来一定的性能开销，因此在生产环境中通常不启用。在发布构建中，默认情况下不会定义

Py_REF_DEBUG

宏。在开发和调试阶段，可以通过配置构建选项来启用这个功能。

二: 引用计数增加

1. 相关源码

// 引用计数增加
void
Py_IncRef(PyObject *o)
{
    Py_XINCREF(o);
}

// 宏定义
#define Py_XINCREF(op) _Py_XINCREF(_PyObject_CAST(op))

// 内联函数
static inline void _Py_XINCREF(PyObject *op)
{
    if (op != NULL) {
        Py_INCREF(op);
    }
}

// 宏定义
#define Py_INCREF(op) _Py_INCREF(_PyObject_CAST(op))

static inline void _Py_INCREF(PyObject *op)
{
#ifdef Py_REF_DEBUG
    _Py_RefTotal++;
#endif
    op->ob_refcnt++;  // 对象的引用计数加1
}

2. 源码解释

_Py_INCREF

函数是一个静态内联函数，用于增加给定Python对象（

op

）的引用计数。内联函数允许编译器在调用处内联展开函数体，以减少函数调用的开销。以下是

_Py_INCREF

函数的各个部分的简要说明：

#ifdef Py_REF_DEBUG

：如果启用了引用计数调试（即编译时定义了

Py_REF_DEBUG

），则增加全局引用计数

_Py_RefTotal

。

op->ob_refcnt++

：增加给定Python对象

op

的引用计数（

ob_refcnt

字段）。

Py_INCREF

是一个宏，用于调用

_Py_INCREF

函数。在调用

_Py_INCREF

之前，它首先使用

_PyObject_CAST

宏将给定的对象（

op

）转换为

PyObject

指针。这是为了确保

_Py_INCREF

函数接收到的参数具有正确的类型。在编写Python C扩展时，通常会使用

Py_INCREF

宏来增加Python对象的引用计数。

三：引用计数减少

1. 相关源码

void
Py_DecRef(PyObject *o)
{
    Py_XDECREF(o);
}

#define Py_XDECREF(op) _Py_XDECREF(_PyObject_CAST(op))

static inline void _Py_XDECREF(PyObject *op)
{
    if (op != NULL) {
        Py_DECREF(op);
    }
}

define Py_DECREF(op) _Py_DECREF(_PyObject_CAST(op))

static inline void _Py_DECREF(
#ifdef Py_REF_DEBUG
    const char *filename, int lineno,
#endif
    PyObject *op)
{
#ifdef Py_REF_DEBUG
    _Py_RefTotal--;
#endif
    if (--op->ob_refcnt != 0) {
#ifdef Py_REF_DEBUG
        if (op->ob_refcnt < 0) {
            _Py_NegativeRefcount(filename, lineno, op);
        }
#endif
    }
    else {
        _Py_Dealloc(op);
    }
}

// 引用计数等于0了，就调用dealloc函数进行对象删除
void
_Py_Dealloc(PyObject *op)
{
    destructor dealloc = Py_TYPE(op)->tp_dealloc;
#ifdef Py_TRACE_REFS
    _Py_ForgetReference(op);
#endif
    (*dealloc)(op);
}

2. 源码解释

在这段代码中，我们可以看到

Py_DecRef

、

Py_XDECREF

、

_Py_XDECREF

、

Py_DECREF

和

_Py_DECREF

这几个用于处理Python对象引用计数的函数和宏。

1. Py_DecRef

   ：这是一个简单的封装函数，接受一个指向

   PyObject

   的指针

   o

   作为参数，然后调用

   Py_XDECREF(o)

   宏。

2. Py_XDECREF

   ：这是一个宏，用于调用

   _Py_XDECREF

   函数。在调用之前，它使用

   _PyObject_CAST(op)

   宏将给定的对象（

   op

   ）转换为

   PyObject

   指针。

3. _Py_XDECREF

   ：这是一个静态内联函数，用于在给定对象不为NULL时调用

   Py_DECREF

   宏。这意味着如果对象指针为空（即

   op == NULL

   ），则不会对引用计数进行任何操作。

4. Py_DECREF

   ：这是一个宏，用于调用

   _Py_DECREF

   函数。在调用之前，它使用

   _PyObject_CAST(op)

   宏将给定的对象（

   op

   ）转换为

   PyObject

   指针。

5. _Py_DECREF

   ：这是一个静态内联函数，用于减少给定Python对象（

   op

   ）的引用计数。以下是

   _Py_DECREF

   函数的各个部分的简要说明：

a.

#ifdef Py_REF_DEBUG

：如果启用了引用计数调试（即编译时定义了

Py_REF_DEBUG

），则减少全局引用计数

_Py_RefTotal

。

b. 减少对象的引用计数：使用

--op->ob_refcnt

来减少给定对象

op

的引用计数。

c. 判断引用计数是否为0：如果引用计数不为0，表示仍有其他对象引用该对象。如果引用计数为0，则调用

_Py_Dealloc(op)

来释放对象的内存。在引用计数调试模式下，还会检查引用计数是否为负数，如果是，则调用

_Py_NegativeRefcount(filename, lineno, op)

报告错误。

在Python C扩展中，通常使用

Py_DECREF

和

Py_XDECREF

宏来减少Python对象的引用计数。这些宏提供了安全和高效的方式来处理引用计数，以防止内存泄漏和提前释放对象。

四：对象删除

1. 相关源码

void
_Py_Dealloc(PyObject *op)
{
    destructor dealloc = Py_TYPE(op)->tp_dealloc;
#ifdef Py_TRACE_REFS
    _Py_ForgetReference(op);
#endif
    (*dealloc)(op);
}

2. 源码解释

_Py_Dealloc

函数是CPython中用于释放Python对象内存的函数。它在对象的引用计数变为零时调用，表示没有其他对象引用该对象，可以安全地回收其内存。以下是

_Py_Dealloc

函数的各个部分的简要说明：

destructor dealloc = Py_TYPE(op)->tp_dealloc;

：从给定Python对象

op

的类型对象中获取析构函数（

tp_dealloc

），并将其赋值给

dealloc

。每个类型对象都有一个与之关联的析构函数，该函数负责清理该类型的对象所占用的内存。

#ifdef Py_TRACE_REFS

：如果启用了引用跟踪功能（即编译时定义了

Py_TRACE_REFS

），则调用

_Py_ForgetReference(op)

将对象

op

从所有对象列表中删除，以便不再跟踪该对象。

(*dealloc)(op);

：调用

dealloc

指向的析构函数，释放对象

op

所占用的内存。这里使用了函数指针，这意味着

dealloc

可以指向任何类型的析构函数，从而可以灵活地处理不同类型的Python对象。

需要注意的是，

_Py_Dealloc

函数是CPython内部使用的，不应该在普通Python代码或扩展模块中直接使用。在Python扩展模块中，您应该使用相应的宏和API函数来管理引用计数，例如

Py_DECREF

和

Py_XDECREF

。

Py_TYPE(op)

是一个宏，用于获取给定Python对象（

op

）的类型。它返回一个指向

PyTypeObject

结构的指针，这个结构包含了对象类型的相关信息，如类型名、方法、属性、析构函数等。

在CPython内部实现中，每个Python对象都包含一个指向其类型对象的指针。这个指针位于

PyObject

结构的

ob_type

字段中。

Py_TYPE(op)

宏实际上就是访问这个

ob_type

字段，即

op->ob_type

。

在Python C扩展和嵌入式代码中，

Py_TYPE(op)

宏可以用于检查对象的类型、获取类型特定的函数或执行类型相关的操作。例如，可以通过比较两个对象的类型对象来判断它们是否属于相同的类型。