研究所爬虫项目服务器信息

1.数据库服务器信息

数据库服务器IP:219.153.98.130

数据库服务器端口:13306

数据库连接用户名:xueyuan

数据库连接密码: c67aK65O^6zXY#@gY#xueyuan

1.1 mysql网页端UI

URL: https://mysql.gandalf.fun/

2.部署服务器信息（centos7.9）

IP: 10.8.15.157

loginUser: bigdata

LoginPassword: 2cNU^jNWVSq2d@mCeHjzDr3GgaU7I*fk

2.1 部署服务器2

>ip 10.8.15.176:22

>用户：bigdata

>密码： Suyyas7-o992121hh%sa

容器化部署

>参考：http://121.40.254.222:10086/modify_doc/3/

crawlab

>测试部署服务器crawlab url：http://10.8.15.157:8080/#/home

用户名/密码：bigdata/SFz5DuppGzZCQafpMfzC

protainer

http://10.8.15.157:9000/#!/2/docker/containers（废弃）

用户名/密码：bigdata/JN6yMUtDUA3WFRB2vYFD

http://10.8.15.176:9000/#!/2/docker/containers

https://bigdata.gandalf.fun/

账密是admin/123456789abcd

1panel 面板

>https://1panel.gandalf.fun/20d3122c7d

bigdata/a2d50767ee

3.MinIO服务器的配置信息(附仵上传)

MINIO ENDPOINT ="10.8.15.161:9002'

MINIO ACCESS KEY="t9zAJorLjgbG15MJ9ZPy'

MINIO SECRET KEY ="XCWSxINFx9NFKVyPECnUlfRvGpo9pstEphdGMWxM

MINIO SECURE = False # 使用http而不是https

MINIO BUCKET NAME="xueyuan-spider-file"

3.1 MiniO WebUI 登录

url: http://10.8.15.161:9001/browser

用户名/密码：college-admin/qU9zM9kaQBkjTBsJnNF3

4. Git 服务器信息(需要VPN)

VPN账号申请联系张芮(QQ:946186017)

【腾讯文档】VPN和gitlab申请信息

https://docs.qq.com/sheet/DQm5as1hvYnhQsG1v?tab=000001

提供以下信息!

姓名姓名全拼(小写) 电话邮箱部门

VPN连接

安装运行vpn客户端(qq群文档下载)

vpn用户名:姓名全拼

密码:1q@W3e$R

需配置HOSTS（C:\Windows\System32\drivers\etc\HOSTS）,增加如下：

10.255.88.204 git.zdhrsoft.com

GitLab项目地址：

http://git.zdhrsoft.com/open-data-team/thematic_data_crawl

GitLab 操作手册：

https://docs.qq.com/doc/DQk9kcFJoWkFnY2dI?u=be3a6a10b50f4192a0d294ffa088d919

5. 项目其他文档

>【腾讯文档】专题数据采集全流程管理：

https://docs.qq.com/sheet/DQlZFY2N3eFhIbkhW?tab=000003

【腾讯文档】采集需求详情：

https://docs.qq.com/sheet/DQmpYSERpZmh2Z29V?tab=vyvrci

6.爬虫通用函数

爬虫通用函数

7.IP代理池

7.1 研究所提供的代理


def get_proxy():
    proxy_ports=[38268, 38299, 38277, 38271, 38298, 38282, 38242, 38290, 38283, 38289, 38291, 38255, 38288, 38296, 38256]
    proxy_host=f"http://admin:m8cZfDwGw1EcQoa@219.152.200.124:{random.choices(proxy_ports)[0]}"
    print(f"代理:{proxy_host}")
    return proxy_host

7.2 公共代理（仅供测试）

http://10.8.15.157:5010/get/

https代理： http://10.8.15.157:5010/get/?type=https

爬虫代码中加入以下代码


def get_proxy():
    return requests.get("http://10.8.15.157:5010/get/?type=https").json().get("proxy")

requests.get(url, headers=headers,proxies={"https": "https://{}".format(proxy)})