Python 使用模拟浏览器和代理ip,被豆瓣封

0
Python Nginx C/C++ 豆瓣 爬虫 1625 次浏览

Python2.7,使用urllib2,模拟浏览器和使用代理ip还是被封掉。
1.浏览器头有30个,随机取;代理ip从代理网站上爬取的,高匿,1000个,随机取。
2.程序开始创建2个进程,进程A用于使用代理ip和user-agent生成Cookie,进程B等待Cookie数量到达50个开始工作;进程B工作时随机使用user-agent和代理ip,并随机挑选Cookie,并且修改了X-Forwarded-For和X-Real-IP;若带有Cookie返回403,则去除该Cookie,进程A填充;
3.运行过一段时间之后被封。
为了明确找到问题,我使用了三台线上服务器开始验证。
验证一:有无代理成功?
按照网上教程,配置nginx,企图获取真实ip,包括X-Forwarded-For和X-Real-IP,很不幸,nginx日志查看的都是代理之后的ip
验证二:封禁的是Cookie还是代理ip,还是原始ip?
用被封的服务器使用正常的服务器生成的Cookie,返回403;替换其他代理ip,返回403;用正常的服务器使用被封的代理ip和cookie,发现可正常访问。说明原始ip被封禁了。
那么问题来了,我的真实ip是如何暴露的?

请尽量让自己的答案能够对别人有帮助

22个答案

默认排序 按投票排序
0

Well this is great site! Would definitely recommend this to my friends. Love the read   https://hairextensionsforthworth.com

0

Thanks for sharing this wonderful information with this blog. I really like your blogs pg slot

0

 Nice blog and absolutely outstanding.  You can do something much better but i still say this perfect. Keep trying for the best.   https://waxingtulsa.com

0

如果它有助于我觉得真实的东西,我会跳过晚餐 lasvegascaregiver.com

0

Great! didnt know about this before, I had doubts but thanks for clarifying. Jenny

0

Thanks for sharing this wonderful information with this blog. I really like your blogs  cheap dental implants des moines

0

GREAT BLOG SITE IM GONNA SHARE THIS TO MY FRIENDS! KEEP POSTING ADMIN I LOVE IT! https://hairextensionsrochesterny.com

0

This is exactly what I'm looking for! Keep on sharing.

Ryan | Drainage Services

0

Generally I don’t read an article on blogs, but I would like to say that this write-up very compelled me to try to do so! Your writing style has amazed me. Thanks, very great post. chips999

0

technology is so advanced nowadays

small business loans laredo

0

谢谢您提供的信息。 您有什么需要引起注意的,我希望您喜欢阅读我的博客。ทางเข้าjoker

0

joker gaming ถือเป็นเกมเดิมพันออนไลน์ joker โปร ที่ได้รับความนิยมมากที่สุด ณ เวลานี้ เป็นหนึ่งในเกมออนไลน์ reeffutures2018 ที่เป็นที่สนใจของนักลงทุน ในเกมพนันมากมาย เป็นเกม xopg.net ที่เล่นได้ง่าย mavoixtavoie ไม่จำเป็นที่จะต้องลงทุนเยอะ สมัคร joker ก็สามารถเล่นสล็อตออนไลน์ได้ essentialsforasoul สามารถสร้างกำไรได้ เพียงแค่ทำการกดสปินเท่านั้น herbalpertpresents ก็มีโอกาสที่จะได้รับรางวัลใหญ่อยู่เสมอ เทคนิคสล็อต และไม่จำเป็นต้องใช้ความคิดที่มากมายอะไร gclub ก็สามารถร่วมสนุก slot joker ในการเล่นเกมสล็อตออนไลน์ northbristol

0

Xo สล็อตออนไลน์ โปรสล็อต XO เกมออนไลน์ทำเงินยอดฮิต เกมสล็อต xopg.net คือเกมทำเงิน reeffutures2018 ผ่านทางออนไลน์อย่างหนึ่ง ที่เล่นง่าย และได้เงินไว แถมยังลงทุนด้วยเงินน้อย mavoixtavoie ทำเงินได้ตลอดเวลา ซึ่งหลายคนอาจได้เคยเห็นรีวิวเรื่องของ สล็อต xo สล็อตออนไลน์ ไว้มากมาย เทคนิคสล็อต ทั้งเรื่องการเล่นแล้วได้เงิน herbalpertpresents และเล่น สล็อต แล้วไม่ได้เงิน นั่นเองค่ะ ซึ่งการที่คุณจะเล่นได้เงินหรือไม่ได้เงินนั้น ส่วนหนึ่งก็เป็นในเรื่องของดวงเข้ามาเกี่ยวด้วย northbristol เพราะสล็อตเป็นเกมออนไลน์เสี่ยงโชค ทดลองเล่น xo เกมหนึ่งซึ่งจะมีสูตร หรือเทคนิคเข้ามาช่วย gclub เพื่อโกงดวงอยู่เสมอซึ่งในเว็บของเรา สมัคร xo ก็มีมาแนะนำไว้ให้เห็นกันมากมายหลายสูตร

0

What you share is what I seek. provided me with a great deal of knowledge. hope that you will make more efforts to have more excellent articles!

wuxiaworld

0

立即解锁您最喜欢的网站。 互联网自由不应受到审查。 不要拒绝审查,不要使用Blue Proxy Unblock快速代理浏览器网站浏览所有网站,并免费访问所有被阻止的网站。ทางเข้าjoker123

0

One down

0

Jackson ville designs are Hot 

0
0

 现在渠道的流量是越来越贵,每个渠道的流量有限,达到一定量级后再寻找突破就变得很难,除非你提高价格去抢流量。这种情况下更需要不同的渠道一齐上阵,帮助打开市场。Monkey king 2

0

joker game Articles that receive good knowledge This post is the best on this valuable topic, I was just browsing the internet looking for some information and found your blog. I am impressed with the information you have on this blog. Show how well you understand this. Bookmark this page, will come back for more.

1 2