Cookie 的由来

大家都知道HTTP协议是无状态的。

状态可以理解为客户端和服务器在某次会话中产生的数据,那无状态的就以为这些数据不会被保留。每当有新的请求发送时,就会有对应的新响应产生。协议本身并不保留之前一切的请求或响应的相关信息。

一句有意思的话来描述就是人生只如初见,对服务器来说,每次的请求都是全新的,即使是同一个客户端发起的多个请求间。随着Web的不断发展,因无状态而导致业务处理变得棘手的情况增多,因此我们需要解决这个问题,也就是说要让http可以“保持状态”,那么Cookie就是在这样一个场景下诞生。

什么是 Cookie?

首先来讲,cookie是浏览器的技术,Cookie具体指的是一段小信息,它是服务器发送出来存储在浏览器上的一组组键值对,可以理解为服务端给客户端的一个小甜点,下次访问服务器时浏览器会自动携带这些键值对,以便服务器提取有用信息。

Cookie的本质就是一组数据(键值对的形式存在)

是由服务器创建,返回给客户端,最终会保存在客户端浏览器中。

如果客户端保存了 Cookie,则下次再次访问该服务器,就会携带 Cookie 进行网络访问。

图片展示了浏览器开发者工具中Application标签下的Storage部分,重点突出Cookies选项。在Cookies列表中,以.key和.value标识的键值对形式呈现了多个Cookie信息,如._AspNetCore_Auth、_gat_gtag_UA等。该图片与上文介绍Cookie是服务器发送给客户端存储在浏览器上的一组键值对,下次访问服务器时浏览器会自动携带这些键值对,以便服务器提取有用信息的内容相呼应,直观呈现了Cookie在浏览器中的存储形式。

cookie 的原理(重点)

图片展示了浏览器与服务器间Cookie的交互流程。浏览器发起第一次请求,携带cookie为空;服务器响应时将cookie(set_cookie:xxx=bobo)响应给浏览器客户端;浏览器在第二次请求时,携带cookie(xxx:bobo)。此图直观呈现了Cookie在浏览器与服务器间传递的过程,与上下文介绍的Cookie原理相呼应,帮助理解浏览器如何与服务器共享Cookie信息。

注意,不同浏览器之间是不共享Cookie的。也就是说在你使用IE访问服务器时,服务器会把Cookie发给IE,然后由IE保存起来,当你在使用FireFox访问服务器时,不可能把IE保存的Cookie发送给服务器。

图片展示了网站登录流程。浏览器打开登录页面,服务器响应登录页面HTML;用户输入用户名密码并点击登陆,服务器存储用户信息,根据令牌验证用户身份,返回用户请求资源;服务器响应对应页面HTML。此图与上下文紧密相关,直观呈现了文档中提到的用户登录网站时,浏览器与服务器间交互的步骤及关键信息,帮助理解cookie在登录过程中的作用。

典型的案例:网站的免密登录

import requests
import os
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36',
}
url = 'https://xueqiu.com/statuses/hot/listV2.json'
param = {
    "since_id": "-1",
    "max_id": "311519",
    "size": "15",
}
response = requests.get(url=url,headers=headers,params=param)
data = response.json()
print(data)
#发现没有拿到我们想要的数据

爬虫中cookie的处理方式(两种方式):

手动处理:将抓包工具中的cookie赋值到headers中即可

自动处理 (重点)

爬虫的session会话对象:

在爬虫里,session对象是一个非常常用的对象,这个对象代表一次用户会话(从客户端浏览器连接服务器开始,到客户端浏览器与服务器断开)。session对象能让我们在跨请求时候保持某些参数,比如在同一个 Session 实例发出的所有请求之间保持 cookie 。

基于session对象实现自动处理cookie。

import requests
from lxml import etree
headers = {
        'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
}

#创建一个session对象
session = requests.Session()
'''
session对象可以像reqeusts一样进行请求发送
如果通过session进行请求发送,如果请求后会产生cookie的话,该cookie会被
        自动保存到session对象中。
'''
#使用session对象发请求,获取cookie保存到该对象中
session.get(url='https://xueqiu.com/',headers=headers)


url = 'https://xueqiu.com/statuses/hot/listV3.json?page=3&last_id=295721605'
#使用了携带cookie的session发起请求
ret = session.get(url=url,headers=headers).json()
print(ret)