同じpythonコードでパケットと盗聴を送信

Question

リストから別のウェブサイトへの接続を設定する必要があります。私は次のウェブサイト（イテレーション）のために行くまで、そのウェブサイトのためのパケットとスニッフィングパケットを送信します。私が次の反復（ウェブサイト）に行くとき、私は嗅覚とそのアドレスだけをフィルタリングしたいです。私は単一のPythonコード内でそれを達成できますか？

sniff(filter="ip and host " + ip_addr,prn=print_summary) 
req = "GET/HTTP/1.1\r\nHost: "+ website +"\r\nConnection: keep-alive\r\nCache-Control: max-age=0\r\nUpgrade-Insecure-Requests: 1\r\nUser-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/58.0.3029.110 Chrome/58.0.3029.110 Safari/537.36\r\nAccept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8\r\nAccept-Language: en-US,en;q=0.8\r\n\r\n" 
url = (website, 80) 
c = socket.socket(socket.AF_INET, socket.SOCK_STREAM, proto=socket.IPPROTO_TCP) 
c.settimeout(5.0) 
c.connect(url) 
c.setsockopt(socket.SOL_IP, socket.IP_TTL, i) 
c.send(req) 
print str(c.recv(4096)) 
c.close() 

私はループで上記のコードを実行しています。しかし、その最初の実行中にそれはスニフ機能に立ち往生。誰もこれで私を助けることができますか？

Answer 1

OK回答を編集しました。

scrapyで使用されているBerkley Packet Filterの構文にHTTP用の単純なオプションがないため、1つのWebサイトのパケットをスニッフィングするのは簡単ではありません。利用可能なオプションに関するいくつかの提案については、this questionを参照してください。

1つの可能性は、Webプロキシサーバーとの間でTCPパケットをスニッフィングすることです。私は以下のコードサンプルでこれを行っています。これは、異なるURLのリストのTCPパケットを個々の名前付きファイルに保存します。私は、ページロードが終了したときに検出するロジックを入れていないので、ちょうど60秒のタイムアウトを使用しました。あなたが何か異なるものを望むなら、これを出発点として使うことができます。スニッフィングするプロキシサーバーがない場合は、bpf_filter変数を変更する必要があります。

NBあなたは、関連する行変更し、その後、代わりに変換ツー文字列バージョンの、生のパケットデータを保存したい場合は（コードにコメントしている。）

from scapy.all import * 
import urllib 
import urlparse 
import threading 
import re 

proxy = "http://my.proxy.server:8080" 
proxyIP = "1.2.3.4" # IP address of proxy 

# list of URLs 
urls = ["http://www.bbc.co.uk/news", 
     "http://www.google.co.uk"] 

packets = [] 

# packet callback 
def pkt_callback(pkt): 
    packets.append(pkt) # save the packet 

# monitor function 
def monitor(fname): 
    del packets[:] 
    bpf_filter = "tcp and host " + proxyIP  # set this filter to capture the traffic you want 
    sniff(timeout=60, prn=pkt_callback, filter=bpf_filter, store=0) 
    f=open(fname+".data", 'w') 
    for pkt in packets: 
     f.write(repr(pkt)) # or just save the raw packet data instead 
     f.write('\n') 
    f.close() 

for url in urls: 
    print "capturing: " + url 
    mon = threading.Thread(target=monitor, args=(re.sub(r'\W+', '', url),)) 
    mon.start() 
    data = urllib.urlopen(url, proxies={'http': proxy}) 
    # this line gets IP address of url host, might be helpful 
    # addr = socket.gethostbyname(urlparse.urlparse(data.geturl()).hostname) 
    mon.join() 

希望これはあなたに与えます良い出発点。