在信息技术飞速发展的今天，通过部署隧道代理，可以实现对数据流的加密隧道化，从而增强网络通讯的整体安全性，也可以0代码接入大量使用隧道代理IP，极大简化数据采集过程中的使用代理IP的过程。
不过隧道代理技术相对而言还是会更难一些，成本也更高，所以目前市面上的代理IP服务提供商有这项服务的不多，所以今天，我们就来讨论一下，要如何部署隧道代理，以便我们日常使用。
前期准备
准备一波可以用的代理IP，免费的不建议啦，2024了，不会还有人去用免费的吧。
随便挑一家量大实惠的代理IP服务提供商都行啊：
随便挑，OK？你自己看上的就行。
老规矩了，安装requests库：
pip install requests接着就进入我们的重点：搭建隧道
如前面，我用的是青果网络的代理IP，具体你们可以替换成你们自己买的API地址。
import requests
import time
proxy_api_url = 'https://api.qg.net.com/getip?appid=YOUR_ID&appkey=YOUR_KEY&num=1&proxy_type=http'
proxy_server = 'PROXY_IP'
proxy_port = PROXY_PORT
target_url = '目标网站'
def get_and_use_proxy():
while True:
try:
response = requests.get(proxy_api_url)
proxy_json = response.json()
proxy = proxy_json[0]['proxy']
response = requests.get(target_url, proxies={'http': f'http://{proxy_server}:{proxy_port}'})
if response.status_code == 200:
print(response.text)
else:
print(f'Request failed with status code: {response.status_code}')
except Exception as e:
print(f'Error: {str(e)}')
time.sleep(10)
proxy_thread = threading.Thread(target=get_and_use_proxy)
proxy_thread.start()同时，记得用 Redis 的 Hash 这个数据结构周期性访问url，拉取当前最新可用的HTTP代理。
部分代码如下：
import yaml
import time
import json
import redis
import datetime
import requests
class ProxyManager:
def __init__(self):
self.config = self.read_config()
self.redis_config = self.config['redis']
self.client = redis.Redis(host=self.redis_config['host'],
password=self.redis_config['password'],
port=self.redis_config['port'])
self.instance_dict = {}
def run(self):
while True:
live_ips = self.read_ip()
pool_ips = [x.decode() for x in self.client.hgetall(self.redis_config['key'])]
self.delete_ip(live_ips, pool_ips)
self.add_new_ips(live_ips, pool_ips)
time.sleep(40)
if __name__ == '__main__':
manager = ProxyManager()
manager.run()我们最好确保这波从url拉下来的代理IP是有效的，可以自己设置程序检查筛出，不具体说了，过。
接下来就是设置代理IP自动转发这一过程，我们可以使用 OpenResty 帮我们实现。
部分代码展示：
worker_processes 16;
error_log /usr/local/openresty/nginx/logs/error.log;
events {
worker_connections 1024;
}
stream {
log_format tcp_proxy '$remote_addr [$time_local] '
'$protocol $status $bytes_sent $bytes_received '
'$session_time "$upstream_addr" '
'"$upstream_bytes_sent" "$upstream_bytes_received" "$upstream_connect_time"';
access_log /usr/local/openresty/nginx/logs/access.log tcp_proxy;
open_log_file_cache off;
upstream backend{
server 127.0.0.2:1101;
balancer_by_lua_block {
local balancer = require "ngx.balancer"
local host = ""
local port = 0
host = ngx.ctx.proxy_host
port = ngx.ctx.proxy_port
local ok, err = balancer.set_current_peer(host, port)
if not ok then
ngx.log(ngx.ERR, "failed to set the peer: ", err)
end
}
}
server {
preread_by_lua_block{
local redis = require("resty.redis")
local redis_instance = redis:new()
redis_instance:set_timeout(3000)
local rhost = "123.45.67.89"
local rport = 6739
local rpass = "abcdefg"
local rkey = "proxy:pool"
local ok, err = redis_instance:connect(rhost, rport)
ngx.log(ngx.ERR, "1111111 ", ok, " ", err)
}
listen 0.0.0.0:9976;
proxy_connect_timeout 3s;
proxy_timeout 10s;
proxy_pass backend;
}
}接着我们用Docker 来启动它，再执行命令和运行就完事了。
隧道代理总体搭建过程就是如此了。当然实际应用中，我们大部分还是会更倾向于购买代理IP服务提供商的隧道代理。限于大规模隧道代理技术问题，目前市面上有这项服务的提供商还不多。我现在使用的是青果网络家的隧道代理，使用下来总体而言还是可以的：
还会提供数据看板：
看了很多家隧道代理的价格以后，不得不说，不是阿布云快代理这种隧道代理IP服务提供商买不起，而是青果网络这种更具有性价比。
说一嘴，他们家还有一个隧道代理的隐藏入口，就这么水灵灵的放在了短效代理这边：
看着还挺实在的，有需要的朋友们可以自己去了解去测试啦。