Skip to main content
 首页 » 编程设计

python之为了避免内存泄漏,我应该在 python Cloud Function 中避免哪些事情

2024年12月31日8zhwl

一般问题

我的 python Cloud Function 每秒引发大约 0.05 个内存错误 - 它每秒被调用大约 150 次。我感觉我的函数留下了内存残差,这会导致它的实例在处理许多请求后崩溃。你应该做什么或不做什么,这样你的函数实例就不会在每次被调用时吃掉“多一点分配的内存”?我被指向文档以了解 I should delete all temporary files因为这是在内存中写的,但我认为我没有写过任何东西。

更多上下文

我的函数代码可以总结如下。

  • 全局上下文:在 Google Cloud Storage 上抓取一个文件,其中包含已知的机器人用户代理列表。实例化错误报告客户端。
  • 如果 User-Agent 识别出机器人,则返回 200 代码。否则解析请求的参数,重命名它们,格式化它们,为请求的接收加上时间戳。
  • 将生成的消息以 JSON 字符串形式发送到 Pub/Sub。
  • 返回一个 200 代码

我相信我的实例正在逐渐消耗所有可用内存,因为我在 Stackdriver 中完成了这张图:

它是我的 Cloud 函数实例的内存使用热图,红色和黄色表示我的大多数函数实例都在消耗这个范围的内存。由于似乎出现的循环,我将其解释为实例内存的逐渐填满,直到它们崩溃并产生新实例。如果我提高分配给函数的内存,这个循环仍然存在,它只是提高了循环遵循的内存使用上限。

编辑:代码摘录和更多上下文

请求包含有助于在电子商务网站上实现跟踪的参数。既然我复制了它,可能会有一个反模式,我在迭代它时修改 form['products'] ,但我认为它与内存浪费没有任何关系?

from json import dumps 
from datetime import datetime 
from pytz import timezone 
 
from google.cloud import storage 
from google.cloud import pubsub 
from google.cloud import error_reporting 
 
from unidecode import unidecode 
 
# this is done in global context because I only want to load the BOTS_LIST at 
# cold start 
PROJECT_ID = '...' 
TOPIC_NAME = '...' 
BUCKET_NAME = '...' 
BOTS_PATH = '.../bots.txt' 
gcs_client = storage.Client() 
cf_bucket = gcs_client.bucket(BUCKET_NAME) 
bots_blob = cf_bucket.blob(BOTS_PATH) 
BOTS_LIST = bots_blob.download_as_string().decode('utf-8').split('\r\n') 
del cf_bucket 
del gcs_client 
del bots_blob 
 
err_client = error_reporting.Client() 
 
 
def detect_nb_products(parameters): 
    ''' 
    Detects number of products in the fields of the request. 
    ''' 
    # ... 
 
 
def remove_accents(d): 
    ''' 
    Takes a dictionary and recursively transforms its strings into ASCII 
    encodable ones 
    ''' 
    # ... 
 
 
def safe_float_int(x): 
    ''' 
    Custom converter to float / int 
    ''' 
    # ... 
 
 
def build_hit_id(d): 
    '''concatenate specific parameters from a dictionary''' 
    # ... 
 
 
def cloud_function(request): 
    """Actual Cloud Function""" 
    try: 
        time_received = datetime.now().timestamp() 
        # filtering bots 
        user_agent = request.headers.get('User-Agent') 
        if all([bot not in user_agent for bot in BOTS_LIST]): 
            form = request.form.to_dict() 
            # setting the products field 
            nb_prods = detect_nb_products(form.keys()) 
            if nb_prods: 
                form['products'] = [{'product_name': form['product_name%d' % i], 
                                     'product_price': form['product_price%d' % i], 
                                     'product_id': form['product_id%d' % i], 
                                     'product_quantity': form['product_quantity%d' % i]} 
                                    for i in range(1, nb_prods + 1)] 
 
            useful_fields = [] # list of keys I'll keep from the form 
            unwanted = set(form.keys()) - set(useful_fields) 
            for key in unwanted: 
                del form[key] 
 
            # float conversion 
            if nb_prods: 
                for prod in form['products']: 
                    prod['product_price'] = safe_float_int( 
                        prod['product_price']) 
 
            # adding timestamp/hour/minute, user agent and date to the hit 
            form['time'] = int(time_received) 
            form['user_agent'] = user_agent 
            dt = datetime.fromtimestamp(time_received) 
            form['date'] = dt.strftime('%Y-%m-%d') 
 
            remove_accents(form) 
 
            friendly_names = {} # dict to translate the keys I originally 
            # receive to human friendly ones 
            new_form = {} 
            for key in form.keys(): 
                if key in friendly_names.keys(): 
                    new_form[friendly_names[key]] = form[key] 
                else: 
                    new_form[key] = form[key] 
            form = new_form 
            del new_form 
 
            # logging 
            print(form) 
 
            # setting up Pub/Sub 
            publisher = pubsub.PublisherClient() 
            topic_path = publisher.topic_path(PROJECT_ID, TOPIC_NAME) 
            # sending 
            hit_id = build_hit_id(form) 
            message_future = publisher.publish(topic_path, 
                                               dumps(form).encode('utf-8'), 
                                               time=str(int(time_received * 1000)), 
                                               hit_id=hit_id) 
            print(message_future.result()) 
 
            return ('OK', 
                    200, 
                    {'Access-Control-Allow-Origin': '*'}) 
        else: 
        # do nothing for bots 
            return ('OK', 
                    200, 
                    {'Access-Control-Allow-Origin': '*'}) 
    except KeyError: 
        err_client.report_exception() 
        return ('err', 
                200, 
                {'Access-Control-Allow-Origin': '*'}) 

请您参考如下方法:

您可以尝试一些方法(理论上的答案,我还没有玩过 CF):

  • 显式删除您在机器人处理路径上分配的临时变量,这些变量可能相互引用,从而防止内存垃圾收集器释放它们(参见 https://stackoverflow.com/a/33091796/4495081):nb_prods、不需要的、form、new_form、friendly_names,例如。

  • 如果 unwanted 始终相同,则将其设为全局。

  • 在将 form 重新分配给 new_form 之前删除它(旧的 form 对象仍然存在);删除 new_form 实际上也不会节省太多,因为该对象仍由 form 引用。 IE。改变:

        form = new_form 
        del new_form 
    

    进入

        del form 
        form = new_form 
    
  • 在您发布主题之后和返回之前显式调用内存垃圾收集器。我不确定这是否适用于 CF,或者调用是否立即生效(例如在 GAE 中不是,请参阅 When will memory get freed after completing the request on App Engine Backend Instances? )。这也可能是矫枉过正,可能会损害您的 CF 性能,看看它是否/如何适合您。

    gc.collect()