互联网协议入门(一)

jopen 11年前
   <p>        我们每天使用互联网,你是否想过,它是如何实现的?</p>    <p>        全世界几十亿台电脑,连接在一起,两两通信。上海的某一块网卡送出信号,洛杉矶的另一块网卡居然就收到了,两者实际上根本不知道对方的物理位置,你不觉得这是很神奇的事情吗?</p>    <p>        互联网的核心是一系列协议,总称为"互联网协议"(Internet Protocol Suite)。它们对电脑如何连接和组网,做出了详尽的规定。理解了这些协议,就理解了互联网的原理。</p>    <p>        下面就是我的学习笔记。因为这些协议实在太复杂、太庞大,我想整理一个简洁的框架,帮助自己从总体上把握它们。为了保证简单易懂,我做了大量的简化,有些地方并不全面和精确,但是应该能够说清楚互联网的原理。</p>    <p>        =================================================</p>    <p>        <strong>互联网协议入门</strong></p>    <p>        作者:阮一峰</p>    <p style="text-align:center;"><img alt="互联网协议入门(一)" src="https://simg.open-open.com/show/c401b65f74f10374872adef8f7f64d10.jpg" width="326" height="434" /></p>    <p>        <strong>一、概述</strong></p>    <p>        <strong>1. 1 五层模型</strong></p>    <p>        互联网的实现,分成好几层。每一层都有自己的功能,就像建筑物一样,每一层都靠下一层支持。</p>    <p>        用户接触到的,只是最上面的一层,根本没有感觉到下面的层。要理解互联网,必须从最下层开始,自下而上理解每一层的功能。</p>    <p>        如何分层有不同的模型,有的模型分七层,有的分四层。我觉得,把互联网分成五层,比较容易解释。</p>    <p style="text-align:center;"><img style="width:565px;height:335px;" alt="互联网协议入门(一)" src="https://simg.open-open.com/show/7c018748e12d5d37d4ef2692641ab6fe.jpg" /></p>    <p>        如上图所示,最底下的一层叫做"实体层"(Physical Layer),最上面的一层叫做"应用层"(Application Layer),中间的三层(自下而上)分别是"链接层"(Link Layer)、"网络层"(Network Layer)和"传输层"(Transport Layer)。越下面的层,越靠近硬件;越上面的层,越靠近用户。</p>    <p>        它们叫什么名字,其实并不重要。只需要知道,互联网分成若干层就可以了。</p>    <p>        <strong>1. 2 层与协议</strong></p>    <p>        每一层都是为了完成一种功能。为了实现这些功能,就需要大家都遵守共同的规则。</p>    <p>        大家都遵守的规则,就叫做"协议"(protocol)。</p>    <p>        互联网的每一层,都定义了很多协议。这些协议的总称,就叫做"互联网协议"(Internet Protocol Suite)。它们是互联网的核心,下面介绍每一层的功能,主要就是介绍每一层的主要协议。</p>    <p>        <strong>二、实体层</strong></p>    <p>        我们从最底下的一层开始。</p>    <p>        电脑要组网,第一件事要干什么?当然是先把电脑连起来,可以用光缆、电缆、双绞线、无线电波等方式。</p>    <p style="text-align:center;"><img alt="互联网协议入门(一)" src="https://simg.open-open.com/show/1fda73c32c4cc8c769f53889b9838032.jpg" width="564" height="205" /></p>    <p>        <strong>这就叫做"实体层",它就是把电脑连接起来的物理手段。它主要规定了网络的一些电气特性,作用是负责传送 0 和 1 的电信号。</strong></p>    <p>        <strong>三、链接层</strong></p>    <p>        <strong>3. 1 定义</strong></p>    <p>        单纯的 0 和 1 没有任何意义,必须规定解读方式:多少个电信号算一组?每个信号位有何意义?</p>    <p>        <strong>这就是"链接层"的功能,它在"实体层"的上方,确定了 0 和 1 的分组方式。</strong></p>    <p>        <strong>3. 2 以太网协议</strong></p>    <p>        早期的时候,每家公司都有自己的电信号分组方式。逐渐地,一种叫做<a href="/misc/goto?guid=4958342257497177427" target="_blank">"以太网"</a>(Ethernet)的协议,占据了主导地位。</p>    <p>        以太网规定,一组电信号构成一个数据包,叫做"帧"(Frame)。每一帧分成两个部分:标头(Head)和数据(Data)。</p>    <p style="text-align:center;"><img style="width:511px;height:88px;" alt="互联网协议入门(一)" src="https://simg.open-open.com/show/cd8cd5bd172627c753c0a6c8ff4b3ffa.jpg" /></p>    <p>        "标头"包含数据包的一些说明项,比如发送者、接受者、数据类型等等;"数据"则是数据包的具体内容。</p>    <p>        "标头"的长度,固定为 18 字节。"数据"的长度,最短为 46 字节,最长为 1500 字节。因此,整个"帧"最短为 64 字节,最长为 1518 字节。如果数据很长,就必须分割成多个帧进行发送。</p>    <p>        <strong>3. 3 MAC 地址</strong></p>    <p>        上面提到,以太网数据包的"标头",包含了发送者和接受者的信息。那么,发送者和接受者是如何标识呢?</p>    <p>        以太网规定,连入网络的所有设备,都必须具有"网卡"接口。数据包必须是从一块网卡,传送到另一块网卡。网卡的地址,就是数据包的发送地址和接收地址,这叫做 MAC 地址。</p>    <p style="text-align:center;"><img alt="互联网协议入门(一)" src="https://simg.open-open.com/show/de20b15a5430c039c1a5b054f7607838.jpg" width="500" height="371" /></p>    <p>        每块网卡出厂的时候,都有一个全世界独一无二的 MAC 地址,长度是 48 个二进制位,通常用 12 个十六进制数表示。</p>    <p style="text-align:center;"><img alt="互联网协议入门(一)" src="https://simg.open-open.com/show/7dd3aca02a30d039229a27f5b202dd89.jpg" width="500" height="259" /></p>    <p>        前 6 个十六进制数是厂商编号,后 6 个是该厂商的网卡流水号。有了 MAC 地址,就可以定位网卡和数据包的路径了。</p>    <p>        <strong>3. 4 广播</strong></p>    <p>        定义地址只是第一步,后面还有更多的步骤。</p>    <p>        首先,一块网卡怎么会知道另一块网卡的 MAC 地址?</p>    <p>        回答是有一种 ARP 协议,可以解决这个问题。这个留到后面介绍,这里只需要知道,以太网数据包必须知道接收方的 MAC 地址,然后才能发送。</p>    <p>        其次,就算有了 MAC 地址,系统怎样才能把数据包准确送到接收方?</p>    <p>        回答是以太网采用了一种很"原始"的方式,它不是把数据包准确送到接收方,而是向本网络内所有计算机发送,让每台计算机自己判断,是否为接收方。</p>    <p style="text-align:center;"><img style="width:554px;height:420px;" alt="互联网协议入门(一)" src="https://simg.open-open.com/show/2dba848e418b89d4a2123a140349a566.jpg" /></p>    <p>        上图中,1号计算机向 2 号计算机发送一个数据包,同一个子网络的 3 号、4号、5号计算机都会收到这个包。它们读取这个包的"标头",找到接收方的 MAC 地址,然后与自身的 MAC 地址相比较,如果两者相同,就接受这个包,做进一步处理,否则就丢弃这个包。这种发送方式就叫做"广播"(broadcasting)。</p>    <p>        有了数据包的定义、网卡的 MAC 地址、广播的发送方式,"链接层"就可以在多台计算机之间传送数据了。</p>    <p>        <strong>四、网络层</strong></p>    <p>        <strong>4. 1 网络层的由来</strong></p>    <p>        以太网协议,依靠 MAC 地址发送数据。理论上,单单依靠 MAC 地址,上海的网卡就可以找到洛杉矶的网卡了,技术上是可以实现的。</p>    <p>        但是,这样做有一个重大的缺点。以太网采用广播方式发送数据包,所有成员人手一"包",不仅效率低,而且局限在发送者所在的子网络。也就是说, 如果两台计算机不在同一个子网络,广播是传不过去的。这种设计是合理的,否则互联网上每一台计算机都会收到所有包,那会引起灾难。</p>    <p>        互联网是无数子网络共同组成的一个巨型网络,很像想象上海和洛杉矶的电脑会在同一个子网络,这几乎是不可能的。</p>    <p style="text-align:center;"><img style="width:580px;height:456px;" alt="互联网协议入门(一)" src="https://simg.open-open.com/show/bf264ac45291932054a479ef64c1d707.jpg" /></p>    <p>        因此,必须找到一种方法,能够区分哪些 MAC 地址属于同一个子网络,哪些不是。如果是同一个子网络,就采用广播方式发送,否则就采用"路由"方式发送。("路由"的意思,就是指如何向不同的子网络分 发数据包,这是一个很大的主题,本文不涉及。)遗憾的是,MAC 地址本身无法做到这一点。它只与厂商有关,与所处网络无关。</p>    <p>        <strong>这就导致了"网络层"的诞生。它的作用是引进一套新的地址,使得我们能够区分不同的计算机是否属于同一个子网络。这套地址就叫做"网络地址",简称"网址"。</strong></p>    <p>        于是,"网络层"出现以后,每台计算机有了两种地址,一种是 MAC 地址,另一种是网络地址。两种地址之间没有任何联系,MAC 地址是绑定在网卡上的,网络地址则是管理员分配的,它们只是随机组合在一起。</p>    <p>        网络地址帮助我们确定计算机所在的子网络,MAC 地址则将数据包送到该子网络中的目标网卡。因此,从逻辑上可以推断,必定是先处理网络地址,然后再处理 MAC 地址。</p>    <p>        <strong>4. 2 IP 协议</strong></p>    <p>        规定网络地址的协议,叫做 IP 协议。它所定义的地址,就被称为 IP 地址。</p>    <p>        目前,广泛采用的是 IP 协议第四版,简称 IPv4。这个版本规定,网络地址由 32 个二进制位组成。</p>    <p style="text-align:center;"><img alt="互联网协议入门(一)" src="https://simg.open-open.com/show/d0422e2daeda2167e62c13daa064c811.jpg" width="500" height="269" /></p>    <p>        习惯上,我们用分成四段的十进制数表示 IP 地址,从0.0.0.0一直到 255.255.255.255。</p>    <p>        互联网上的每一台计算机,都会分配到一个 IP 地址。这个地址分成两个部分,前一部分代表网络,后一部分代表主机。比如,IP 地址 172.16.254.1,这是一个 32 位的地址,假定它的网络部分是前 24 位(172.16.254),那么主机部分就是后 8 位(最后的那个1)。处于同一个子网络的电脑,它们 IP 地址的网络部分必定是相同的,也就是说 172.16.254.2 应该与 172.16.254.1 处在同一个子网络。</p>    <p>        但是,问题在于单单从 IP 地址,我们无法判断网络部分。还是以 172.16.254.1 为例,它的网络部分,到底是前 24 位,还是前 16 位,甚至前 28 位,从 IP 地址上是看不出来的。</p>    <p>        那么,怎样才能从 IP 地址,判断两台计算机是否属于同一个子网络呢?这就要用到另一个参数"子网掩码"(subnet mask)。</p>    <p>        所谓"子网掩码",就是表示子网络特征的一个参数。它在形式上等同于 IP 地址,也是一个 32 位二进制数字,它的网络部分全部为1,主机部分全部为0。比如,IP 地址 172.16.254.1,如果已知网络部分是前 24 位,主机部分是后 8 位,那么子网络掩码就是 11111111.11111111.11111111.00000000,写成十进制就是 255.255.255.0。</p>    <p>        知道"子网掩码",我们就能判断,任意两个 IP 地址是否处在同一个子网络。方法是将两个 IP 地址与子网掩码分别进行 AND 运算(两个数位都为1,运算结果为1,否则为0),然后比较结果是否相同,如果是的话,就表明它们在同一个子网络中,否则就不是。</p>    <p>        比如,已知 IP 地址 172.16.254.1 和 172.16.254.233 的子网掩码都是 255.255.255.0,请问它们是否在同一个子网络?两者与子网掩码分别进行 AND 运算,结果都是 172.16.254.0,因此它们在同一个子网络。</p>    <p>        总结一下,IP 协议的作用主要有两个,一个是为每一台计算机分配 IP 地址,另一个是确定哪些地址在同一个子网络。</p>    <p>        <strong>4. 3 IP 数据包</strong></p>    <p>        根据 IP 协议发送的数据,就叫做 IP 数据包。不难想象,其中必定包括 IP 地址信息。</p>    <p>        但是前面说过,以太网数据包只包含 MAC 地址,并没有 IP 地址的栏位。那么是否需要修改数据定义,再添加一个栏位呢?</p>    <p>        回答是不需要,我们可以把 IP 数据包直接放进以太网数据包的"数据"部分,因此完全不用修改以太网的规格。这就是互联网分层结构的好处:上层的变动完全不涉及下层的结构。</p>    <p>        具体来说,IP 数据包也分为"标头"和"数据"两个部分。</p>    <p style="text-align:center;"><img style="width:527px;height:107px;" alt="互联网协议入门(一)" src="https://simg.open-open.com/show/39bd36d9f57380425c895e83ee972bef.jpg" /></p>    <p>        "标头"部分主要包括版本、长度、IP 地址等信息,"数据"部分则是 IP 数据包的具体内容。它放进以太网数据包后,以太网数据包就变成了下面这样。</p>    <p style="text-align:center;"><img style="width:574px;height:120px;" alt="互联网协议入门(一)" src="https://simg.open-open.com/show/532478d0855a0476e96162da71cf8938.jpg" /></p>    <p>        IP 数据包的"标头"部分的长度为 20 到 60 字节,整个数据包的总长度最大为 65,535字节。因此,理论上,一个 IP 数据包的"数据"部分,最长为 65,515字节。前面说过,以太网数据包的"数据"部分,最长只有 1500 字节。因此,如果 IP 数据包超过了 1500 字节,它就需要分割成几个以太网数据包,分开发送了。</p>    <p>        <strong>4. 4 ARP 协议</strong></p>    <p>        关于"网络层",还有最后一点需要说明。</p>    <p>        因为 IP 数据包是放在以太网数据包里发送的,所以我们必须同时知道两个地址,一个是对方的 MAC 地址,另一个是对方的 IP 地址。通常情况下,对方的 IP 地址是已知的(后文会解释),但是我们不知道它的 MAC 地址。</p>    <p>        所以,我们需要一种机制,能够从 IP 地址得到 MAC 地址。</p>    <p>        这里又可以分成两种情况。第一种情况,如果两台主机不在同一个子网络,那么事实上没有办法得到对方的 MAC 地址,只能把数据包传送到两个子网络连接处的"网关"(gateway),让网关去处理。</p>    <p>        第二种情况,如果两台主机在同一个子网络,那么我们可以用 ARP 协议,得到对方的 MAC 地址。ARP 协议也是发出一个数据包(包含在以太网数据包中),其中包含它所要查询主机的 IP 地址,在对方的 MAC 地址这一栏,填的是 FF:FF:FF:FF:FF:FF,表示这是一个"广播"地址。它所在子网络的每一台主机,都会收到这个数据包,从中取出 IP 地址,与自身的 IP 地址进行比较。如果两者相同,都做出回复,向对方报告自己的 MAC 地址,否则就丢弃这个包。</p>    <p>        总之,有了 ARP 协议之后,我们就可以得到同一个子网络内的主机 MAC 地址,可以把数据包发送到任意一台主机之上了。</p>    <p>        <strong>五、传输层</strong></p>    <p>        <strong>5. 1 传输层的由来</strong></p>    <p>        有了 MAC 地址和 IP 地址,我们已经可以在互联网上任意两台主机上建立通信。</p>    <p>        接下来的问题是,同一台主机上有许多程序都需要用到网络,比如,你一边浏览网页,一边与朋友在线聊天。当一个数据包从互联网上发来的时候,你怎么知道,它是表示网页的内容,还是表示在线聊天的内容?</p>    <p>        也就是说,我们还需要一个参数,表示这个数据包到底供哪个程序(进程)使用。这个参数就叫做"端口"(port),它其实是每一个使用网卡的程序的编号。每个数据包都发到主机的特定端口,所以不同的程序就能取到自己所需要的数据。</p>    <p>        "端口"是 0 到 65535 之间的一个整数,正好 16 个二进制位。0到 1023 的端口被系统占用,用户只能选用大于 1023 的端口。不管是浏览网页还是在线聊天,应用程序会随机选用一个端口,然后与服务器的相应端口联系。</p>    <p>        <strong>"传输层"的功能,就是建立"端口到端口"的通信。相比之下,"网络层"的功能是建立"主机到主机"的通信。只要确定主机和端口,我们就能实现程序之间的交流。</strong>因此,Unix 系统就把主机+端口,叫做"套接字"(socket)。有了它,就可以进行网络应用程序开发了。</p>    <p>        <strong>5. 2 UDP 协议</strong></p>    <p>        现在,我们必须在数据包中加入端口信息,这就需要新的协议。最简单的实现叫做 UDP 协议,它的格式几乎就是在数据前面,加上端口号。</p>    <p>        UDP 数据包,也是由"标头"和"数据"两部分组成。</p>    <p style="text-align:center;"><img style="width:621px;height:136px;" alt="互联网协议入门(一)" src="https://simg.open-open.com/show/f48819dbdb8759e6be33623d305579a8.jpg" /></p>    <p>        "标头"部分主要定义了发出端口和接收端口,"数据"部分就是具体的内容。然后,把整个 UDP 数据包放入 IP 数据包的"数据"部分,而前面说过,IP 数据包又是放在以太网数据包之中的,所以整个以太网数据包现在变成了下面这样:</p>    <p style="text-align:center;"><img alt="互联网协议入门(一)" src="https://simg.open-open.com/show/ee56bbed69a5ec6463598c5ff32dbd47.jpg" width="622" height="123" /></p>    <p>        UDP 数据包非常简单,"标头"部分一共只有 8 个字节,总长度不超过 65,535字节,正好放进一个 IP 数据包。</p>    <p>        <strong>5. 3 TCP 协议</strong></p>    <p>        UDP 协议的优点是比较简单,容易实现,但是缺点是可靠性较差,一旦数据包发出,无法知道对方是否收到。</p>    <p>        为了解决这个问题,提高网络可靠性,TCP 协议就诞生了。这个协议非常复杂,但可以近似认为,它就是有确认机制的 UDP 协议,每发出一个数据包都要求确认。如果有一个数据包遗失,就收不到确认,发出方就知道有必要重发这个数据包了。</p>    <p>        因此,TCP 协议能够确保数据不会遗失。它的缺点是过程复杂、实现困难、消耗较多的资源。</p>    <p>        TCP 数据包和 UDP 数据包一样,都是内嵌在 IP 数据包的"数据"部分。TCP 数据包没有长度限制,理论上可以无限长,但是为了保证网络的效率,通常 TCP 数据包的长度不会超过 IP 数据包的长度,以确保单个 TCP 数据包不必再分割。</p>    <p>        <strong>六、应用层</strong></p>    <p>        应用程序收到"传输层"的数据,接下来就要进行解读。由于互联网是开放架构,数据来源五花八门,必须事先规定好格式,否则根本无法解读。</p>    <p>        <strong>"应用层"的作用,就是规定应用程序的数据格式。</strong></p>    <p>        举例来说,TCP 协议可以为各种各样的程序传递数据,比如 Email、WWW、FTP 等等。那么,必须有不同协议规定电子邮件、网页、FTP 数据的格式,这些应用程序协议就构成了"应用层"。</p>    <p>        这是最高的一层,直接面对用户。它的数据就放在 TCP 数据包的"数据"部分。因此,现在的以太网的数据包就变成下面这样。</p>    <p style="text-align:center;"><img style="width:602px;height:205px;" alt="互联网协议入门(一)" src="https://simg.open-open.com/show/31132291d82b8402df437c94c22dba58.jpg" /></p>    <p>        至此,整个互联网的五层结构,自下而上全部讲完了。这是从系统的角度,解释互联网是如何构成的。下一次,我反过来,从用户的角度,自上而下看看这个结构是如何发挥作用,完成一次网络数据交换的。</p>    <div id="come_from">    来自:     <a id="link_source2" href="/misc/goto?guid=4958342258291106521" target="_blank">阮一峰的网络日志</a>    </div>