云上攻防-云原生篇&K8s安全&Config泄漏&Etcd存储&Dashboard鉴权&Proxy暴露
如上图所示:etcd服务是运行在master节点上的,master节点上查看该服务默认通过证书认证,主要存放节点的数据,如一些token和证书。
云原生|K8S 网络篇
Before diving into the details on how packets flow inside a Kubernetes cluster, let's first clear up the requirements for a Kubernetes network.
计算机用语
为了将缓存数据取出执行反序列化操作,因为二级缓存数据存储介质多种多样,不一样在内存。
【设计模式 04】代理模式
有时候如果想要访问某个对象,但又没办法直接访问或不方便直接访问,可以使用代理模式,代理模式为想要访问的那个真实对象提供一种“替身”,将客户端直接对服务端的访问转换为客户端只与代理交互,由代理处理具体的和服务端的交互,代理模式有四种角色,分别是:
Nginx 可视化管理平台 Nginx-Proxy-Manager 中文入门指南
nginx-proxy-manager 是一个反向代理管理系统,它基于 NGINX,具有漂亮整洁的 Web UI。还可以获得可信的 SSL 证书,并通过单独的配置、自定义和入侵保护来管理多个代理。它是开源的,获得斩11.8K的星数。
如何安装Nginx Proxy Manager
这是官网的一段话:
This project comes as a pre-built docker image that enables you to easily forward to your websites running at home or otherwise, including free SSL, without having to know too much about Nginx or Letsencrypt.
HTTP隧道与Proxy-Tunnel技术
作为爬虫工作者,我们在日常数据采集中会使用代理代理ip去解决问题。很多时候我们使用的代理都是通过api模式去获取代理然后使用,这样的方式对我们的好处就是可以自己管理ip池。最近很多厂商都提供了一种新的模式,隧道代理。这种隧道代理有个很特别的就是使得客户端感觉不到代理的存在,在客户端看来,它是直接跟要请求的资源服务器在通信。对于我们很多新手来说是不错的方式,不需要花很多的时间去和代理纠结。
在使用隧道HTTP过着中涉及ip的两种模式,即Proxy-Tunnel自主切换IP,该模式适合一些需要登陆、Cookie缓存处理等爬虫需要精确控制IP切换时机的业务。 爬虫程序可以通过设置HTTP头Proxy-Tunnel: 随机数, 当随机数相同时,访问目标网站的代理IP相同。比如:
需要登录,获取数据两个请求在一个IP下,只需对这组请求设置相同Proxy-Tunnel,例如:Proxy-Tunnel: 12345, 该组请求在代理有效期内使用相同的代理IP。但是需要注意的是同一时间不同请求组可以设置不同Proxy-Tunnel: 随机数,并发完成数据爬取。
Mac下 SSR无法正常使用Telegram问题及解决方法
最近在Mac上使用Telegram时,发现无法正常连接,无论是PAC还是全局均无效,在Google之后大多数答案都是Windows下的处理方法,并不适用。
代理可用性测试及使用
代理(Proxy)是指在网络通信中充当中间人的服务器,它接收客户端发送的请求,然后向服务器发送请求,获取响应后再将响应返回给客户端。代理服务器通常用于隐藏客户端的真实IP地址,提高安全性、访问速度等方面的需求。
Nginx学习之Nginx实战(二)
nginx反向代理的指令不需要新增额外的模块,默认自带proxy_pass指令,只需要修改配置文件就可以实现反向代理。
cewl----字典生成
注意通过 -d 参数控制探测网站路径的深度。如果网站比较大,速度很慢,需要很长时间。
12 道腾讯前端面试真题及答案整理,实用!
DNS 是什么-- Domain Name System,域名系统,作为域名和IP地址相互映射的一个分布式数据库。
爬虫中无头浏览器如何选择
我们日常使用浏览器的步骤为:启动浏览器、打开一个网页、进行交互。而无头浏览器指的是我们使用脚本来执行以上过程的浏览器,能模拟真实的浏览器使用场景。主要是用作爬虫,用以捕捉Web上的各类数据;这里的无头主要是指没有界面,完全是后台操作。它就是一个真实的浏览器。只是这个浏览器是无界面的。
在爬虫中使用无头浏览器有很多的注意事项,比如我们的业务场景是否适合使用无头浏览器、我们可以通过这些方面进行判别,如果目标网站反爬不是很难,可以直接通过简单的http请求进行采集,不适合使用无头浏览器方案。反之如果网站有多种验证机制,例如需要验证登录、js反爬策略,如果研发不能进行网站行为分析的情况下,建议使用无头浏览器伪装正常用户,并且需要搭配代理一起使用,代理建议使用像亿牛云提供的爬虫代理去访问网站效果会更好,这里简单的示例下使用代理的方式:
Proxy SwitchyOmega安装和使用
Proxy SwitchyOmega 是一款非常优秀的浏览器插件,适用于 Chrome 和 Firefox,它可以轻松快捷地管理和切换 IP 代理。
【好玩儿的Docker项目】好用又强大的开源建站工具——Halo 2.0
早在很久之前,咕咕就发布过Halo博客的视频,当时是因为Hexo没有后台,编辑起来有点麻烦,在众多博客框架里面,偶然找到的Halo。
如何使用python+urllib库+代理IP访问网站
python 写爬虫获取数据资料是方便的,但是很多网站设置了反爬虫机制,最常见的就是限制 IP 频繁请求了,只要某个 IP 在单位时间内的请求次数超过一定值,网站就不再正常响应了,这时,我们的 python 爬虫就无法正常工作了。对于这种情况最简单的方式就是使用代理(proxy)。但是使用还是会出现一些问题,比如下面的例子
深入理解nginx stream proxy 模块的ssl连接原理
我一直来对ssl建立连接的过程一知半解,以前分析nginx代码的时候一旦碰到ssl连接部分的代码都是直接跳过,前面在分析ngx_http_upstream_dynamic_module的时候正好想到了是不是可以给它添加一个能够支持https健康检查的功能,所以今天决定沉下心来仔细分析一下nginx本身的与上游服务器建立连接的实现逻辑。
首创!最全面全功能Midjourney Proxy代理SDK正式发布!
打开config/plugin/webman/midjourney/process.php文件,配置如下
Nginx 完整配置说明
上面说的include的几个文件,都没有必要改,用的时候include一下就可以。
必知必会,7 张图轻松理解 K8S 集群内服务通信
深入了解支持服务间通信的 3 个原生 k8s 对象:ClusterIP Service、DNS 和 Kube-Proxy。