开篇词 学好网络编程,需要掌握哪些核心问题?
你好,我是盛延敏,欢迎你的加入。在接下来的几个月时间里,我会和你一起深入学习网络编程。网络编程是一个高度重视实战的内容模块,工作这么多年,我一直都在近距离与它打交道。
我博士毕业于中科大,毕业之后就加入了IBM,在IBM从事WebSphere应用服务器、PaaS平台Bluemix等系统的开发工作,后来又在大众点评担任云平台首席架构师,推动了以Docker为核心的私有云的建设和落地。现在我在蚂蚁金服专注于云计算的架构和开发等方面的事情。正是这些工作经历让我对网络编程有了更为深入的理解。
2000年初,我就开始使用网络编程框架ACE、CORBA等技术从事电信网管系统的开发,后来又开始接触ICE,写分布式控制系统,再之后转向Java,使用JDK从事Web Service和应用服务器的网络开发和研究,使用Netty从事Java高性能网络编程的开发。作为一个网络程序设计和开发的老兵,我目前继续在云计算领域深度耕耘,更是少不了和各种网络设计和开发打交道。
得益于这么多年的深耕,在工作过程中,我也接触了不少同学,面试过很多候选人,令我惊讶的是,很多工作很久的同学对网络协议和网络编程一知半解,仅仅停留在一个很粗浅的水平。
事实上,无论是在面试中,还是在工作中,掌握网络编程领域的知识都是一个非常重要的基本功。这在互联网蓬勃发展的今天,更是如此。
如果我问你一些关于网络编程方面的问题,你会怎样回答呢?
- 大家经常说的四层、七层,分别指的是什么?
- TCP三次握手是什么,TIME_WAIT是怎么发生的?CLOSE_WAIT又是什么状态?
- Linux下的epoll解决的是什么问题?如何使用epoll写出高性能的网络程序?
- 什么是网络事件驱动模型?Reactor模式又是什么?
这些问题看似简单,但想做到完全理解可并不容易。很多人可能停留在“是这样”的状态,对于“为什么”缺乏深入和了解。
我在学网络编程的时候,也面临着这种窘境。我发现很多情况下,我们都希望尽可能详尽地学习网络编程,面面俱到,但奈何头绪太多,对于初学者来说很容易深陷其中,钻牛角尖,也就难以去理清脉络了。
这样导致的后果就是过分关注知识点本身,片面地斩断了它们与实际工作的联系。比如流量控制和拥塞控制这一部分的内容。我记得我在学这部分知识的时候,纯粹是把这些当作考试的知识点来学习,很难将书本的知识和实际经验,尤其是和代码结合起来进行理解。为什么会有这些算法,它们究竟解决了哪些问题?这些问题搞不懂,看似无伤大雅,其实已经或多或少地和实际工作产生了断层。
流量控制和拥塞控制只是网络编程一小部分的内容,进程、线程、多路复用、异步I/O这些概念一摆出来,又会让人一头雾水。从哪里学?怎么学?
很多人在理论部分折了戟,干脆跑向了另一个极端,转而去学习框架,快速上手。事实上,理论是基石,框架则是站在一个更为抽象的角度来看待网络编程问题。框架的产生或是为了实现跨平台支持,例如 JDK,或是为了屏蔽网络编程的细节,让开发更为方便,例如 libevent。
没有理论为底,框架也只是空中楼阁。直接学习框架反而会更加摸不着头脑,对网络编程也很难有实打实的收获。
那么你可能会问,理论学不懂,框架又不行,到底应该怎么学?
事实上,我认为学习高性能网络编程,掌握两个核心要点就可以了:第一就是理解网络协议,并在这个基础上和操作系统内核配合,感知各种网络I/O事件;第二就是学会使用线程处理并发。抓住这两个核心问题,也就抓住了高性能网络编程的“七寸”。我会从实践出发,单刀直入地展开,从问题的角度对这些看似枯燥的知识点进行阐述。
我会跟你一起在专栏里研究某个理论或者算法,看看它提出来的目的到底是什么,又解决了哪些问题。我还会和代码进行关联,和实验进行关联,循序渐进地引出这个理论或者算法的实际意义。
我会从最简单的网络套接字开始,一步步带你写出健硕的高性能网络程序。在这个过程里,我会尽我所能,将自己在这个领域中多年的体会和专栏内容融为一体,帮助你理解协议、API和代码。
在专栏里,我们会重点展开对Linux网络编程的学习。原因也很简单,目前Linux系统已成为互联网数据中心的标配,再加上基于Linux的移动开发平台Android的迅速崛起,Linux的重要性愈发明显。对有志于学习网络编程的你来说,这是一个非常明智的选择。
我在下面放了一张专栏的目录,专栏将分别从基础篇、提升篇、性能篇和实战篇展开。
在我看来,要学好网络编程,需要达到以下三个层次。
第一个层次,充分理解TCP/IP网络模型和协议。在这方面,仅仅做到理论上的理解是远远不够的。在基础篇中我们会梳理TCP/IP模型和网络函数接口之间的联系,并通过实例展开对套接字,套接字缓冲区,拥塞控制,数据包和数据流,本地套接字(UNIX域套接字)等的讨论,给你一个全面而具体的知识体系。
第二个层次,结合对协议的理解,增强对各种异常情况的优雅处理能力。比如对TCP数据流的处理,半关闭的连接,TCP连接有效性的侦测,处理各种异常情况等,这些问题决定了程序的健壮性。有关这一部分的内容,我们将在提升篇详细展开。
第三个层次,写出可以支持大规模高并发的网络处理程序。在这个阶段,我将带你一起深入研究C10K问题,引入进程、线程、多路复用、非阻塞、异步、事件驱动等现代高性能网络编程所需要的技术。我们将在性能篇深入讨论这些技术,并在实战篇结合实例,一步步教你写出高性能的网络程序。
“不闻不若闻之,闻之不若见之,见之不若知之,知之不若行之。”几千年前荀子的这段话,告诉了我们学习计算机编程技术的最佳方法,我想用在这里再合适不过了。
所以,无论是哪个层次,都需要你和我一起坚持下去。你可以对专栏里的代码进行修改和调试,从而增强你对网络编程的理解。
最后,请你留言说一说自己的情况。你在什么岗位?工作几年啦?在日常工作中是怎么使用网络编程的?开张圣听,期待跟你碰撞出更多精彩想法。感谢你对我的信任,我一定会竭尽所能,助你成功。
让我们一起进步。
- widy28 👍(2) 💬(3)
请问这个是什么时候开课,写的每周一周三周五开课,找了半天没找到从几月几号开始,昨天一看没有更新课程呢?
2019-08-01 - 晚枫 👍(8) 💬(6)
老师,你好,专栏是使用c++语言吗
2019-07-29 - C家族铁粉 👍(12) 💬(1)
弱弱问一下,是不是学过java,才能学这门课~我只会点c/c++语法
2019-07-29 - binary 👍(23) 💬(1)
10年Java,决心学习网络系统底层。
2019-07-30 - 南山 👍(17) 💬(1)
以前看过极客的专栏发布时间表,是很期待的一门课程。今天推了就第一时间看了开篇,没有想过是c版的,对c的了解连皮毛都不算,但还是决定跟,尝试用Java跟下来,双十一的时候回来给自己鼓掌~~~
2019-07-29 - 传说中的成大大 👍(13) 💬(1)
我现在就在学Linux 也在看多路复用 突然来了这个专栏我毫不犹豫的买了,自从学了Linux就知道有个内核那个东东 套接字也是文件 是内核管理的 当某个套接字上有数据达到时 内核就会唤醒套接字对应等待的进程也就是recv的返回 epoll就是为了解决大量套接字的问题 select数量有限,我是进来提高加实战的
2019-07-30 - 禾桃 👍(10) 💬(2)
希望能增加一个章节,讲讲 kernel bypass, solarflare 和 exanic的API,多谢!
2019-07-29 - 郭凯强 👍(9) 💬(1)
3年半web developer,最近正好在看罗剑锋老师的《透视HTTP协议》,看到课程目录里的自己写HTTP服务器就果断入了...实践才能出真知。
2019-07-30 - wang 👍(8) 💬(1)
工作一年,今天刚毕业,找了一份今后会接触这方面很多的工作,不过同事大多用go,主要对并发封装很好,自己一直用Java,没啥特别的目的,学习一直在路上,有则增强,无则开拓
2019-07-30 - leesper 👍(7) 💬(1)
中科大学长的课必须要支持一下!我工作五年多了,从第一天工作起就接触高性能网络编程,从C++到Java,自己也用Go写过网络编程框架,但还不是Reactor模式,期望学完本课后将框架改进为真正的one loop per thread模型!
2019-07-29 - Skrpy 👍(6) 💬(1)
我现在是大三的暑假,准备考研的复习,我觉得这个专栏能在我复习计算机网络时给我更好的启发,同时我也希望复习的过程不是纸上谈兵,而是将来能在实际实验和工作中践行这些知识。
2019-07-30 - SMTCode 👍(5) 💬(1)
自己造高并发的轮子确实很艰难,也是综合实力的体现。
2019-07-29 - nightmare 👍(5) 💬(3)
java岗位,6年经验,平常在项目中用netty,非常简单快捷的编写网络程序,平常只需要关注handler的业务逻辑,对于reactor netty就很好的实现了 用eventLoop实现了Reactor 而且用 eventLoopGoup可以快速实现reactor的单线程模型,多线程模型,主从模型
2019-07-29 - 黄金 👍(4) 💬(1)
看评论都是大佬。。一年经验前端的我瑟瑟发抖,试试能不能学到点东西,就怕经验太少看不懂
2019-08-08 - linupy 👍(4) 💬(1)
你好,有语言限制吗,特别是后期编写http服务器的时候?
2019-07-31