Skip to main content
 首页 » 编程设计

python异步套接字编程

2025年05月04日9qq号

现在我有两个线程,线程 1 是主线程,线程 2 是任务线程。我需要线程 2 来处理所有网络问题,所以我将所有套接字放在线程 2 中并将它们设置为无阻塞。线程 1 用于将请求推送到线程 2 以完成工作。

一开始我是这样写的:

request_queue = Queue.Queue() 
tasks = [] 
sockets = [] 
 
**thread 1:** 
 
while True: 
 
    get_user_input() 
    #... 
    request_queue.put(request_task) 
 
**thread 2:** 
 
while True: 
 
    if have_requests(request_queue): 
 
        t = create_task() 
 
        tasks.append(t) 
 
        sockets.append(t.socket()) 
 
    select(sockets,timeout=0) #no blocking select 
 
    update_tasks() 
    #... 

很明显,当没有请求和任务时,线程2会浪费cpu。我不想使用sleep(),因为当线程2处于休眠状态时,它不能及时处理请求。那么我想也许我应该将 request_queue 更改为本地主机套接字,如下所示:

request_queue = sock.sock() 
request_queue.bind(local_host,some_port) 
request_queue.listen() 
 
**thread 1** 
 
while True: 
 
    get_user_input() 
 
    request_queue.send(new_request) 
 
 
**thread 2** 
 
while True: 
 
    select(sockets) # blocking select 
 
    if request_queue is active: 
        t = request_queue.recv() 
        t = create_task(t) 
        tasks.append(t) 
        sockets.append(t.socket()) 
 
    #check other sockets 
    #update tasks... 

但这看起来有点棘手,我不知道这是否是一个好方法。我只希望线程 2 能够及时处理请求,不要浪费 cpu 时间和同时处理 socket 事件.谁能帮忙?

请您参考如下方法:

对于异步网络,请查看 Tornado , Twisted或 Gevent .还有 this article可能对你有用。 Gevent 示例:

def handle_socket(sock): 
    sock.sendall("payload") 
    sock.close() 
 
server = socket.socket() 
server.bind(('0.0.0.0', 9999)) 
server.listen(500) # max connections 
while True: 
    try: 
        new_sock, address = server.accept() 
    except KeyboardInterrupt: 
        break 
    # handle every new connection with a new handler 
    gevent.spawn(handle_socket, new_sock) 

和Celery最适合后台作业执行。