IOCP编程小结(中)

上一篇首要谈了一部分中坚观点,本篇将商量自己个人总括的局部IOCP编程技巧。

■扣扣保镖:彪悍的QQ电脑管家攻势,彪悍的360“安全之名”,彪悍的竞争不需要表明。■天涯论坛网易:作为“纯纯”的消息门户,天涯论坛伺机一款如果壳网信箱、腾讯QQ这样的制品太久了。■联想乐Phone:移动互联网是可口蛋糕,而蛋糕旁已经蹲了如狼似虎的苹果、Google,还可以等啊?■天猫商城:独立的、分拆的Tmall商城,由于京东商城、乐酷天的B2C攻势,发力的必要性何人都清楚。■团购:从单个产品扩大到10亿元营收产业,省钱理念逼出来需求。■盛大Bambook:华丽的网络文学需要快捷变现的开卷终端,莱睿2000万照相头免驱超高清素描头夜视麦克(Mike)风,更何况PC端付费阅读正面临免费搦战。■人人小组:不爱偷菜了,也尚未停车位了,社交网站重归“社交圈子”,豆瓣网的模式变得实惠。■“凡客”牌:网购平台多年来都是为旁人做嫁衣,饮食美食,薄利多销但没有协调的品牌,“凡客”们急需雄起。■英雄杀:当竞争对手盛大搞出那么一款风靡的“三国杀”,腾讯棋牌游戏感觉压力是自然的。■网络剧:土豆、优酷们说,购买影视剧,烧钱压力实在太大了,《老男孩》或许可以名利双收。商报记者张绪旺
相关的核心著作:

 

网络游戏前端服务器的需求和筹划

  首先介绍一下这么些服务器的技能背景。在分布式网络游戏服务器中,前端连接服务器是一种很常见的规划。他的天职重大有:

  1. 为客户端和后端的游艺逻辑服务器提供一个软件路由 ——
客户端一旦和前端服务器建立TCP连接将来就足以经过那多少个连续和后端的玩耍服务器举行通讯,而不再需要和后端的服务器再建立新的连日。

  2. 承担来自客户端的IO压力 ——
一组非凡的网络游戏服务器需要服务少则几千多则上万(休闲游戏则足以多达几十万)的玩耍客户端,那一个IO处理的负荷万分可观,由一组前端服务器承载这么些IO负担可以有效的减轻后端服务器的IO负担,并且让后端服务器也只需要关爱游戏逻辑的落实,有效的落实IO和作业逻辑的解耦。

  架构如图:

图片 1

 

  对于网络游戏来说,客户端与服务器之间需要开展频繁的通讯,不过各类数据包的尺码基本都很小,典型的轻重为多少个字节到几十个字节不等,同时用户上行的数据量要比下行数据量小的多。不同的玩耍项目对延缓的要求不太一样,FPS类的嬉戏希望延迟要小于50ms,MMO类型的100~400ms,一些休闲类的棋牌游戏1000ms左右的推迟也是足以承受的。由此,网络游戏的简报是以优化延迟的同时又必须兼顾小包的联结以制止网络拥塞,哪个因素为主则需要遵照实际的游乐项目来决定。

  技术背景就介绍这一个,后边介绍的IOCP连接服务器就是以这多少个要求为统筹目的的。

 

对IOCP服务器框架的体察

  在入手实现这么些连续服务器以前,我先是观望了一部分存活的开源IOCP服务器框架库,老牌的如ACE,整个库太多庞大臃肿,代码也显老态,无好感。boost.asio据说是个正确的网络框架也辅助IOCP,我编译运行了弹指间他的事例,然后尝试着读书了弹指间asio的代码,感觉这一个恐怖,完全弄不明了里边是怎么落实的,于是抛弃。asio秉承了boost一直的变态作风,将C++的语言技巧凌驾于规划和代码可读性之上,这是我可怜反对的。其他部分不入流的IOCP框架也看了一些,真是写的丰硕多彩什么的兑现都有,总体感觉下来IOCP确实不太容易把握和抽象,所以才致使五花八门的实现。最后,仍旧决定自己再度造轮子。

 

劳务框架的肤浅

  任何的服务器框架从本质上说都是包裹一个事变(伊夫nt)消息循环。而应用层只要向框架注册事件处理函数,响应事件并展开处理就足以了。一般的一路IO处理框架是先接受IO事件然后再举行IO操作,这类的事件处理框架我们称之为Reactor。而IOCP的特种之处在于用户是首发起IO操作,然后接收IO完成的事件,次序和Reactor是相反的,这类的事件处理框架我们誉为Proactor。从词根Re和Pro上,我们也足以容易的明亮这二者的差距。除了网络IO事件之外,服务器应该还足以响应提姆er事件及用户自定义事件。框架做的业务就是把这一个事件统统放到一个音信队列里,然后从队列中取出事件,调用相应的事件处理函数,如此循环往复。

  IOCP为我们提供了一个系统级的音信队列(称之为完成队列),事件循环就是环绕着这么些完成队列展开的。在提倡IO操作后系统会进展异步处理(如果能即刻处理的话也会直接处理掉),当操作完成后自行向这一个队列投递一条音讯,不管是直接处理如故异步处理,最终总会投递完成音讯。

*  顺便提一下:这里存在一个性能优化的时机:当IO操作可以即时完成的话,假如让系统不要再投递完成音讯,那么就足以削减几遍系统调用(这至少可以省去多少个飞秒的开销),做法是调用SetFileCompletionNotificationModes(handle,
FILE_SKIP_COMPLETION_PORT_ON_SUCCESS),具体的可以查看MSDN。*

  对于用户自定义事件可以动用Post来投递。对于提姆er事件,我的做法则是落实一个提姆(Tim)erHeap的数据结构,然后在信息循环中定期检查那些提姆erHeap,对逾期的提姆er事件举办调度。

  IOCP完成队列重返的信息是一个OVERLAPPED结构体和一个ULONG_PTR
complete_key。complete_key是在用户将Socket
handle关联到IOCP的时候绑定的,其实用性不是很大,而OVERLAPPED结构体则是在用户发起IO操作的时候设置的,并且OVERLAPPED结构得以由用户通过连续的章程来扩充,由此怎样用好OVERLAPPED结构在螺丝壳里做道场,就成了包装好IOCP的第一。

  那里,我利用了一个C++模板技巧来增添OVERLAPPED结构,先看代码:

struct IOCPHandler
{
    virtual void Complete(ULONG_PTR key, DWORD size) = 0;
    virtual void OnError(ULONG_PTR key, DWORD error){}
    virtual void Destroy() = 0;
};

struct Overlapped : public OVERLAPPED
{
    IOCPHandler* handler;
};

template<class T>
struct OverlappedWrapper : T
{
    Overlapped overlap;

    OverlappedWrapper(){
        ZeroMemory(&overlap, sizeof(overlap));
        overlap.handler = this;
    }

    operator OVERLAPPED*(){return &overlap;}
};

  IOCPHandler是用户对象的接口,用户扩展这一个接口来落实IO完成事件的处理。然后通过一个OverlappedWrapper<T>的沙盘类将用户对象和OVERLAPPED结构封装成一个目标,T类型就是用户扩充的对象,由于用户对象位于OVERLAPPED结构体的前头,由此大家会将OVERLAPPED的指针传递给IO操作的API,同时大家在OVERLAPPED结构的末尾还停放了一个用户对象的指针,当GetQueuedCompletionStatus接收到OVERLAPPED结构体指针后,咱们经过这个指针就可以找到用户对象的岗位了,然后调用虚函数Complete或者OnError就足以了。

  图解一下对象协会:

图片 2

 

在事件循环里的拍卖方法 :

DWORD size;
ULONG_PTR key;
Overlapped* overlap;
BOOL ret = ::GetQueuedCompletionStatus(_iocp, &size, &key, (LPOVERLAPPED*)&overlap, dt);
if(ret){
    if(overlap == 0){
        OnExit();
        break;
    }
    overlap->handler->Complete(key, size);
    overlap->handler->Destroy();
}
else {
    DWORD err = GetLastError();
    if(err == WAIT_TIMEOUT)
        UpdateTimer();
    else if(overlap) {
        overlap->handler->OnError(key, err);
        overlap->handler->Destroy();
    }
}

   在此地运用大家运用了C++的多态来扩大OVERLAPPED结构,在框架层完全不用关爱接收到的是咋样IO事件,只需要应用层自己关注就够了,同时也避免了利用丑陋的难于增加的switch..case结构。

  对于异步操作来说,最让人痛苦的工作就是内需把原来顺序逻辑的代码强行拆分成多块来回调,这使得代码中原本蕴含的逐条逻辑被打散,并且在逐个代码块里的上下文变量无法共享,必须另外生成一个目的放置这一个上下文变量,而这又引发一个对象生存期管理的题材,对于没有GC的C++来说尤其痛苦。解决异步逻辑的惨痛之道近日有二种方案:一种是用coroutine(协作式线程)将异步逻辑变成同步逻辑,在Windows上得以采取Fiber来实现coroutine;另一种方案是行使闭包,闭包原本是函数式语言的表征,在C++里并没有,不过幸运的是大家可以透过一个稍微麻烦一点的点子来模拟闭包行为。coroutine在解决异步逻辑方面是最善于的,特别是一个函数里需要各种展开五个异步操作的时候尤其强大(在这种景色下闭包也相形见拙),可是另一方面coroutine的实现相比较复杂,线程的手工调度经常把人绕晕,对于IOCP那种异步操作比较有限的面貌有点杀鸡用牛刀的感到。因而最终我仍旧控制利用C++来模拟闭包行为。

  这里演示一个第一名的异步IO用法,看代码: 

图片 3图片 4一个异步发送的例证:

void Client::Send(const char* data, int size)
{
    const char* buf = AllocSendBuffer(data, size);

    struct SendHandler : public IOCPHandler
    {
        Client* client;
        int     cookie;

        virtual void Destroy(){    delete this; }
        virtual void Complete(ULONG_PTR key, DWORD size){
            if(!client->CheckAvaliable(cookie))
                return;
            client->EndSend(size);
        }
        virtual void OnError(ULONG_PTR key, DWORD error){
            if(!client->CheckAvaliable(cookie))
                return;
            client->OnError(E_SocketError, error);
        }
    };

    OverlappedWrapper<SendHandler>* handler = new OverlappedWrapper<SendHandler>();
    handler->cookie = _clientId;
    handler->client = this;
    int sent = 0;
    Error e = _socket.AsyncSend(buf, size, *handler, &sent);
    if(e.Check()){
        LogError2(“SendAsync Failed. %s”, FormatAPIError(_socket.CheckError()).c_str());
        handler->Destroy();
        OnError(E_SocketError, _socket.CheckError());
    }
    else if(sent == size){
        handler->Destroy();
        EndSend(size);
    }
}

   这多少个事例中,我们在函数内部定义了一个SendHandler对象,模拟出了一个闭包的表现,大家可以把需要动用的上下文变量放置在SendHandler内,当下次回调的时候就足以访问到那个变量了。本例中,我们在SendHandler里记了一个cookie,其效力是当异步操作再次来到时,可能那么些Client对象已经被回收了,这么些时候假使再调用EndSend必然会造成错误的结果,由此我们通过cookie来判定这多少个Client对象是否是那多少个异步操作发起时的Client对象。

  使用闭包即便尚无coroutine这样漂亮的依次逻辑结构,可是也丰盛便利你把各类异步回调代码串起来,同时在闭包内共享需要拔取的上下文变量。此外,最新版的C++标准对闭包有了原生的补助,实现起来会更方便一些,倘若您的编译器丰裕新的话可以尝试利用新的C++特性。

 

  

IO工作线程 单线程vs多线程

  在大部助教IOCP的稿子中都会指出使用三个干活线程来处理IO事件,并且把工作线程数设置为CPU大旨数的2倍。依照自身的映像,这种说法的出处来自于微软前期的合法文档。然而,在我看来这完全是一种误导。IOCP的计划初衷就是用尽可能少的线程来拍卖IO事件,由此拔取单线程处理我是从未问题的,这可以使贯彻简化很多。反之,用多线程来处理的话,必须处处小心线程安全的题材,同时也会涉嫌到加锁的题材,而不适于的加锁反而会使性能急剧下降,甚至不如单线程程序。有些同学也许会认为采取多线程可以表达多核CPU的优势,不过近年来CPU的快慢充裕用来处理IO事件,一般现代CPU的单个主题要拍卖一块千兆网卡的IO事件是绰绰有余的,最多的可以同时处理2块网卡的IO事件,瓶颈往往在网卡上。如倘若想透过多块网卡提升IO吞吐量的话,我的提议是应用多进程来横向扩充,多进程不仅可以在单台物理服务器上举行扩充,并且还能扩展到多台物理服务器上,其伸缩性要比多线程更强。

  
当时微软提议的这几个指出我想着重是考虑到在IO线程中除了IO处理之外还有工作逻辑需要处理,使用多线程可以缓解事情逻辑不通的问题。可是将工作逻辑放在IO线程里处理我不是一种好的设计情势,这从没很好的到位IO和事情解耦,同时也限制了服务器的紧缩性。优秀的筹划应当将IO和作业解耦,使用多进程或者多线程将事情逻辑放在另外的历程或者线程里举办拍卖,而IO线程只需要担当最简便的IO处理,并将收取的音信转发到工作逻辑的进程或者线程里处理就足以了。我的前端连接服务器也是比照了那种设计方法。

   

闭馆发送缓冲区实现和谐的nagle算法

  IOCP最大的优势就是他的油滑,关闭socket上的发送缓冲区就是一例。很多少人觉着关闭发送缓冲的价值是可以收缩一回内存拷贝的开发,在我看来那只是捡了一粒芝麻而已。主流的千兆网卡其最大数额吞吐量不过区区120MB/s,而内存数据拷贝的吞吐量是10GB/s以上,多一回120MB/s数据拷贝,仅消耗1%的内存带宽,意义特别有限。

  在一般的Socket编程中,大家只有打开nagle算法或者不打开的挑选,策略的挑选和参数的微调是从未有过办法成功的。而当我们关闭发送缓冲之后,每趟Send操作必然会等到数量发送到对方的商谈栈里并且吸纳ACK确认才会回到完成信息,这就给了俺们一个实现自定义的nagle算法的时机。对于网络游戏这种需要频繁发送小数据包,打开nagle算法可以有效的联结发送小数码包以降低网络IO负担,但一方面也加大了推迟,对游戏性造成不利影响。有了关门发送缓冲的特点之后,我们就足以自行决定nagle算法的落实细节,在上一个send操作没有完结在此以前,我们得以操纵是即时发送新的多少(以降低延迟),仍旧累积数据等待上一个send截止或者逾期后再发送。更复杂一点的政策是可以让服务器容忍三个未截止的send操作,当不止一个阈值后再累积数据,使得在IO吞吐量和延缓上直达一个合理的平衡。

 

发送缓冲的分配政策

  前边提到了倒闭socket的出殡缓冲,那么就关系到大家自己什么来分配发送缓冲的问题。

  一种政策是给各种Socket分配一个固定大小的环形缓冲区。这会设有一个题目:当缓冲区内累积的未发送数据加上新发送的数量大小超出了缓冲区的深浅,这一个时候就会磕磕碰碰麻烦,要么阻塞以等待眼前的数额发送完毕(但是IO线程不可以卡住),要么干脆直接把Socket关闭,一个妥协的章程是拼命三郎把发送缓冲区设置的大一些,但这又会白白浪费很多内存。

  另一种政策是让具有的客户端socket共享一个十分大的环形缓冲区,如果我们保留一个1G的内存区域给这几个环形缓冲区,每一遍需要向客户端发送数据时就从那么些环形缓冲区分配内存,当缓冲区分配到底了再绕到起头重新分配。由于这一个缓冲区异常大,1G的内存对千兆网卡来说至少需要花费10s才能发送完,并且在骨子里运用中这么些时间会远超10s。因而当新的数额从头先河分配的时候,老的多少早已经发送掉了,不用操心将老的多寡覆盖,即使遇见网络堵塞,一个数码包抢先10s还未发送掉的话,我们也可以经过超时判断主动关闭这些socket。

 

socket池和对象池的分配政策

  允许socket重用是IOCP另一个优势,大家得以在server启动时,遵照我们对最大服务人口的展望,将享有的socket资源都分配好。一般的话每个socket必需对应一个client对象,用来记录一些客户端的新闻,这一个目标池也可以和socket绑定并事先分配好。在服务运作前将有所的大块对象的内存资源都预先分配好,用一个FreeList来做对象池的分配,在客户端下线之后再将资源回收到池中。这样就足以避免在劳务运作过程中动态的分红大的对象,而部分索要暂时分配的小目标(例如OVERLAPPED结构),我们可以利用诸如tcmalloc之类的通用内存分配器来做,tcmalloc内部使用小对象池算法,其分配性能和平稳非凡好,并且他的接口是非侵入式的,我们依旧能够在代码里保留malloc/free及new/delete。很多服务在漫长运行之后出现运行效能降低,内存占用过大等问题,都跟频繁的分红和自由内存导致出现大量的内存碎片有关。所以做好服务器的内存分配管理是至关首要的一环。

 

待续….

 

下一篇将经过几个压力测试和profiling的事例,来分析服务器的性质和瓶颈所在,请我们关注。

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图