Twisted Python Proxyをより速くするには？

Question

以下のコードはコンテンツフィルタリング用のHTTPプロキシです。 GETを使用して現在のサイトのURLをサーバーに送信し、サーバーが処理して応答します。それは実行するVERY,VERY,VERY slowです。それをより速くする方法に関するアイデア？ここで

は、コードは次のとおりです。

from twisted.internet import reactor 
from twisted.web import http 
from twisted.web.proxy import Proxy, ProxyRequest 
from Tkinter import * 
#import win32api 
import urllib2 
import urllib 
import os 
import webbrowser 

cwd = os.path.abspath(sys.argv[0])[0] 
proxies = {} 
user = "zachb" 
class BlockingProxyRequest(ProxyRequest): 
    def process(self): 
     params = {} 
     params['Location']= self.uri 
     params['User'] = user 
     params = urllib.urlencode(params) 
     req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies) 
     resp = req.read() 
     req.close() 
     if resp == "allow": 
      pass 
     else: 
      self.transport.write('''BLOCKED BY ADMIN!''') 
      self.transport.loseConnection() 

     ProxyRequest.process(self) 

class BlockingProxy(Proxy): 
    requestFactory = BlockingProxyRequest 
factory = http.HTTPFactory() 
factory.protocol = BlockingProxy 

reactor.listenTCP(8000, factory) 
reactor.run() 

誰もが速く、この実行を作成する方法上の任意のアイデアがありますか？それとも、それを書く良い方法ですか？

Answer 1

このプロキシにおける遅の主な原因は、おそらく、これらの三行である：

req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies) 
    resp = req.read() 
    req.close() 

ノーマルツイストベースのアプリケーションはシングルスレッドです。あなたはスレッドを関与させるためにあなたの道を離れなければなりません。これは、リクエストが入ったときに、このHTTPリクエストで処理中のスレッドのみをブロックしていることを意味します。このHTTPリクエストが完了するまで、それ以上のリクエストは処理されません。

twisted.web.clientでAPIのいずれかを使用してください（例：AgentまたはgetPage）。これらのAPIはブロックされないため、サーバーは同時リクエストを同時に処理します。これにより、応答時間が大幅に短縮されます。