소스 검색

change page

Germey 6 년 전
부모
커밋
eb5bbc9ced
2개의 변경된 파일2개의 추가작업 그리고 2개의 파일을 삭제
  1. 1 1
      deployment.yml
  2. 1 1
      proxypool/crawlers/public/kuaidaili.py

+ 1 - 1
deployment.yml

@@ -51,7 +51,7 @@ items:
       name: proxypool
       namespace: proxypool
     spec:
-      replicas: 1
+      replicas: 2
       revisionHistoryLimit: 1
       strategy: {}
       template:

+ 1 - 1
proxypool/crawlers/public/kuaidaili.py

@@ -11,7 +11,7 @@ class KuaidailiCrawler(BaseCrawler):
     """
     kuaidaili crawler, https://www.kuaidaili.com/
     """
-    urls = [BASE_URL.format(page=page) for page in range(1, 100)]
+    urls = [BASE_URL.format(page=page) for page in range(1, 200)]
     
     def parse(self, html):
         """