Przeglądaj źródła

ignore zhandaye

Germey 6 lat temu
rodzic
commit
2fd55da922
2 zmienionych plików z 9 dodań i 1 usunięć
  1. 8 1
      README.md
  2. 1 0
      proxypool/crawlers/public/zhandaye.py

+ 8 - 1
README.md

@@ -83,6 +83,7 @@ proxypool    | 2020-02-19 17:09:46,596 INFO success: tester entered RUNNING stat
 export REDIS_HOST='localhost'
 export REDIS_PORT=6379
 export REDIS_PASSWORD=''
+export REDIS_DB=0
 ```
 
 或者只设置连接字符串:
@@ -91,7 +92,13 @@ export REDIS_PASSWORD=''
 export REDIS_CONNECTION_STRING='redis://[password]@host:port/db'
 ```
 
-这里连接字符串的格式需要符合 `redis://[password]@host:port/db` 的格式。
+如果没有密码也要设置为:
+
+```shell script
+export REDIS_CONNECTION_STRING='redis://@host:port/db'
+```
+
+这里连接字符串的格式需要符合 `redis://[password]@host:port/db` 的格式,注意不要遗漏 `@`。
 
 以上两种设置任选其一即可。
 

+ 1 - 0
proxypool/crawlers/public/zhandaye.py

@@ -17,6 +17,7 @@ class ZhandayeCrawler(BaseCrawler):
         'User-Agent': 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'
     }
     urls = []
+    ignore = True
 
     def crawl(self):
         self.crawl_catalog()