Tidak Ada Deskripsi

ted c40813f57a added iphai crawler, uncommented the previous ones 8 tahun lalu
examples 062d32db4f update random 9 tahun lalu
proxypool c40813f57a added iphai crawler, uncommented the previous ones 8 tahun lalu
.gitignore 4483901afc fix pop 9 tahun lalu
LICENSE a0593a31ae add free proxy 9 tahun lalu
README.md 013f9c0146 Update README.md 8 tahun lalu
importer.py 133b4e0890 update 8 tahun lalu
requirements.txt 2cafcfdf61 add password 9 tahun lalu
run.py 133b4e0890 update 8 tahun lalu

README.md

ProxyPool

安装

安装Python

至少Python3.5以上

安装Redis

安装好之后将Redis服务开启

配置代理池

cd proxypool

进入proxypool目录,修改settings.py文件

PASSWORD为Redis密码,如果为空,则设置为None

安装依赖

pip3 install -r requirements.txt

打开代理池和API

python3 run.py

获取代理

利用requests获取方法如下

import requests

PROXY_POOL_URL = 'http://localhost:5000/get'

def get_proxy():
    try:
        response = requests.get(PROXY_POOL_URL)
        if response.status_code == 200:
            return response.text
    except ConnectionError:
        return None