0
点赞
收藏
分享

微信扫一扫

k8s学习--基于k8s的ELK日志收集的详细过程

念川LNSC 2024-07-24 阅读 21

一、前言

    致敬所有科研者和分享知识的人,图片大都来自参考链接中,参考链接都在文章尾部。本人是计网小白,该文章倾向于学习笔记,如有不准确甚至不正确的地方请各位海涵并在评论区或者私信指出。

    首先是这OSI七层、TCP/IP四层、原理五层的关系(这张图来自谢希仁编《计算机网络(第8版)》P31)。

    简单来说,因为OSI过于理想化现代实际应用的是TCP/IP四层,为了讲述TCP/IP四层的工作原理,书上把TCP/IP细分为原理五层便于读者理解

    详细来说,OSI(Open Systems Interconnection)七层模型是一个理论框架,它为网络通信定义了一个分层架构。每一层都有其特定的功能,旨在促进不同计算机系统之间的互操作性。 但OSI模型在设计时更加理想化和规范化,但在实际中很多概念过于复杂,难以实现或不必要并且OSI模型的七层结构在某些场合被认为是过于繁琐和不必要的。特别是会话层和表示层的功能在许多情况下可以由应用层协议直接处理,无需单独层次。在TCP/IP模型中,物理层和数据链路层通常被合并称为网络接口层或链路层。TCP/IP模型主要关注于如何在不同类型的网络中传输数据,而不是规定具体的物理设备和传输媒介。这就是为什么在该模型中不单独列出物理层的原因。这种设计允许TCP/IP模型能够在各种物理网络上运行,无论它们的物理层实现是什么。物理层的职责包括数据传输和接收的具体细节,比如电压水平、时序同步、物理连接方式、传输媒介(如双绞线、光纤、无线电波)等,这些通常由具体的硬件和网络技术标准来定义

二、物理层

    物理层主要涉及硬件设备、传输介质和基本传输技术,因此它不像网络层或传输层那样有一套详细的协议。然而,在物理层中,有一些标准和规范来确保不同设备能够在物理层稳定地进行通信。这些标准和规范可以被视为物理层的“协议”。(请注意,传递信息所利用的一些物理传输媒体,如双绞线、同轴电缆、光缆、无线信道等,并不在物理层协议之内,而是在物理层协议的下面。因此也有人把物理层下面的物理传输媒体当作第0层。)

三、通过帧结构判断连接与可靠

    通过观察协议的帧结构,可以推断出该协议是否面向连接以及其可靠性。帧结构中的某些字段和机制是面向连接和可靠传输的关键指标。以下是一些可以观察的要素:

    面向连接的特征

       1.序列号(Sequence Number):

       面向连接的协议通常在帧中包含序列号,用以标识每个数据包的顺序,以及跟踪已发送和已确认的数据。

       2.确认号(Acknowledgment Number):

       面向连接的协议的帧结构中会有一个确认号字段,用以确认收到特定序列号的数据。

       3.连接建立和终止标志:

       在帧结构中,特定的标志位(比如 SYN 和 FIN 标志位在TCP中)用于控制连接的建立和终止。

    可靠性的特征

       1.确认机制(ACKs):

       可靠的协议会有一个机制来确认接收到的数据,这通常涉及到帧结构中的确认字段。

       2.重传机制:

       在帧结构中,需要有足够的信息(比如序列号)来支持数据的重传机制,以便在数据丢失或损坏时重新发送。

       3.校验和(Checksum)或循环冗余检查(CRC):

       用于检测帧在传输过程中是否出现错误的字段。如果检测到错误,可靠的协议可以请求重传损坏的帧。

       4.流量控制:

       可靠的协议通常包括流量控制机制(如窗口大小字段),以防止发送方溢出接收方的缓冲区

       5.顺序传输:

       通过序列号保持数据的传输顺序,确保接收方能够按照发送顺序重新组装数据。

四、数据链路层

(一)数据链路层的主要功能

    1.封装成帧

       封装成帧(framing)就是在一段数据的前后分别添加首部和尾部,这样就构成了一个帧。首部和尾部的一个重要作用就是进行帧定界(即确定帧的界限)。

       首部(Header)和尾部(Trailer)的具体内容可能因不同的数据链路层协议而异,但通常包含以下元素:(之后会介绍各协议的帧结构)

       对于接收端,接收端在收到物理层上交的比特流后,就能根据首部和尾部的标记,从收到的比特流中识别帧的开始和结束。也就是说,数据链路层接收到来自物理层的比特流后,需要确定帧的起始和结束边界,这一过程称为帧同步
       对于发送端,网络层的IP数据报传送到数据链路层就成为帧的数据部分。在帧的数据部分的前面和后面分别添加上首部和尾部,构成了一个完整的帧。这样的帧就是数据链路层的数据传送单元。

    IP数据包


    推荐阅读IP数据报_百度百科 来了解IP数据包的结构。所有互联网上传送的数据都以分组(即IP数据包)为传送单位。

    在互联网上,数据通常是以分组(也称为IP数据包)的形式发送的。这种方式是基于互联网的核心协议——互联网协议(IP)。IP数据包是互联网上数据传输的基本单位,它允许数据在不同网络和设备之间以分散的方式传输。
    分组通常指的就是IP数据包。在计算机网络中,分组是指将数据分割成小的块,每一块都包括了必要的寻址和控制信息,并且可以独立地从发送端路由到接收端。IP数据包是按照互联网协议(IP)封装的分组,它们是网络层的数据传输单元。
    IP数据包包含两个主要部分:头部和数据。头部包含了用于数据传输的各种控制信息,例如源IP地址、目的IP地址、数据包长度、生存时间(TTL)等。数据载荷则是实际要传输的数据内容。数据部分(Data)包含传输的实际消息或数据负载,可以是TCP或UDP段,或其他协议的消息。
    虽然IP数据包是互联网上传输数据的基本单位,但并不是所有的网络通信都直接使用IP数据包。例如,在局域网(LAN)中,数据可能以以太网帧的形式传输,其中以太网帧会封装IP数据包。在移动网络中,也有专门的数据传输协议。

    2.透明传输


    上述文本可以简化为一句话:只要数据是从键盘上输入的字符,那么就不会出现帧格式错误(如图3-6)的情况,那么这是为什么呢?
   答案在上一页中当数据是由可打印的ASCI码组成的文本文件时,定界可以使用特殊的定界符。这里的特殊的定界符就指的是"SOH"和"EOT"。
    详细来说,SOH、EOT等控制字符是ASCII码中用于控制而非表示可打印文本的特殊字符。在正常的键盘输入中,用户生成的是可打印字符,而不是这些用于控制的非打印字符。文本文件中的内容通常由字符编码(如ASCII或UTF-8)表示,而控制字符如SOH和EOT在ASCII编码中对应特定的十六进制值(例如,SOH是0x01,EOT是0x04)。由于这些控制字符并不对应键盘上的常规按键,它们不会在普通键盘输入中被生成。也就是说,在键盘上的所有字符不可能表示出用于控制的如"SOH"或"EOT"这样的帧定界控制字符。   

    但如果数据是二进制代码、图像、视频等,数据部分就有可能出现"SOH"或"EOT"这样的帧定界控制字符,所以为了实现透明传输,书上提出了字节填充(也可称为字符填充)的方法,如下图。

    具体的方法是:发送端的数据链路层在数据中出现控制字符“SOH”或“EOT”的前面插入一个转义字符“ESC”(其十六进制编码是 1B,二进制是00011011)。而在接收端的数据链路层在把数据送往网络层之前删除这个插入的转义字符。这种方法称为字节填充(byte stufing)或字符填充(character stufing)。如果转义字符也出现在数据当中,那么解决方法仍然是在转义字符的前面插入一个转义字符。因此,当接收端收到连续的两个转义字符时,就删除其中前面的一个。图 3-7 表示用字节填充法解决透明传输的问题。

    3.差错检验

       比特差错:比特在传输过程中可能会产生差错,1可能会变成0,而0也可能变成1。
       为了检验是否产生了差错,提出了循环冗余校验(CRC, Cyclic Redundancy Check)

       循环冗余校验:在数据后添加一个短的冗余码,称为CRC或校验和。发送方和接收方共同约定一个多项式,发送方根据这个多项式计算出CRC,并将它附加到数据后面发送。接收方使用相同的多项式再次计算接收到的数据(包括CRC)的CRC值。如果计算结果为零(或预定的非零固定值),则认为数据没有错误。CRC能够检测出多位错误,并且对于给定长度的数据帧,其错误检测能力几乎是最优的。
       推荐视频【计算机网络期末复习】5分钟左右让你明白CRC循环冗余校验_哔哩哔哩_bilibili学习计算过程。

    4.流量控制 

       流量控制负责管理发送和接收之间的数据传输速率,以防止快速发送方的数据溢出较慢接收方的缓冲区,导致数据丢失。
       滑动窗口协议:滑动窗口协议是一种更高效的流量控制方法。在这个协议中,发送方可以发送多个帧而不需要等待每一个的确认,但它必须确保未确认的帧的数量不超过窗口大小。窗口大小是发送方和接收方协商确定的,它指定了可以连续发送但未被确认的帧的最大数量。
       发送方每收到一个ACK,窗口就向前滑动一格,允许发送一个新的帧。如果接收方不能及时处理所有帧,它可以通过控制ACK的发送或通过流量控制帧来减小窗口的大小,从而减缓发送方的发送速率。

(二)数据链路层主要协议

    IEEE 802.3/以太网



       IEEE 802.3 特点:无连接、不可靠。
  

    IEEE 802.11

       IEEE 802.11,是无线网络的标准,通常被称为WiFi。 
       对于帧结构的详解请参考网站IEEE 802.11 Mac Frame - GeeksforGeeks
       SC:Sequence Control

       IEEE 802.11 特点:连接、可靠。

    IEEE 802.15.1

       没有找到官网的IEEE  802.15.1的帧结构图片。IEEE 802.15.1标准是基于蓝牙技术的一种无线个人区域网(WPAN)规范,设计用于短距离的无线通信。 

    HDLC

       HDLC(High-level Data Link Control) 高级数据链路控制规程。

       HDLC 特点:连接、可靠、点对点。

    PPP

       PPP(Point-to-Point Protocol)点对点协议。   

       PPP 特点:连接、不可靠、点对点。

    CSMA/CD

       CSMA/CD(Carrier Sense Multiple Access with Collision Detection,带冲突检测的载波侦听多路访问)
       1.特点:
       2.工作原理:每个节点都共享网络传输信道,在每个站要发送数据之前,都会检测信道是否空闲(载波侦听),如果空闲则发送,否则就等待。如果在发送数据的过程中检测到另一个设备也在发送数据,产生了冲突,设备会停止发送并发送一个冲突信号。之后,设备会等待一个随机的退避时间后再尝试重新发送数据(冲突检测)。
       3.功能:解决通道争用。

    CSMA/CA

       1.特点:
       2.工作原理:
       3:功能:

参考资料

计算机网络TCP/IP协议-从双绞线到TCP_哔哩哔哩_bilibili
【网络】半小时看懂<计算机网络>_哔哩哔哩_bilibili
https://www.youtube.com/watch?v=Iuvjwrm_O5g
https://www.youtube.com/watch?v=PpsEaqJV_A0
https://www.youtube.com/watch?v=OTwp3xtd4dg
https://www.youtube.com/watch?v=2QGgEk20RXM
https://www.youtube.com/watch?v=E5bSumTAHZE
3.1数据链路层功能概述_哔哩哔哩_bilibili
https://www.youtube.com/watch?v=N2tgsPUPEBE
IPv4地址和子网掩码_哔哩哔哩_bilibili
谢希仁. 计算机网络(第8版). 电子工业出版社. 2021
https://www.youtube.com/watch?v=jy4kBAzJCKM
https://www.youtube.com/watch?v=MzhiVE6OuQA
《深入理解计算机网络》之链路层总结 - 知乎
IP数据报_百度百科
The TCP/IP Guide - IP Datagram General Format
Welcome to The TCP/IP Guide!
【计算机网络期末复习】5分钟左右让你明白CRC循环冗余校验_哔哩哔哩_bilibili
IEEE 802.11 Mac Frame - GeeksforGeeks
https://en.wikipedia.org/wiki/High-Level_Data_Link_Control
Point-to-Point Protocol (PPP) Frame Format - GeeksforGeeks
PPP(点对点协议(Point to Point Protocol))_百度百科

举报

相关推荐

0 条评论