IOCP编程小结(中)

 

网络游戏前端服务器的急需和统筹

  首先介绍一下那么些服务器的技巧背景。在分布式网络游戏服务器中,前端连接服务器是一种很普遍的计划性。他的任务重要有:

  1. 为客户端和后端的游乐逻辑服务器提供一个软件路由 ——
客户端一旦和前端服务器建立TCP连接将来就可以透过那些连续和后端的玩耍服务器举办通讯,而不再需要和后端的服务器再建立新的接连。

  2. 负担来自客户端的IO压力 ——
一组非凡的网络游戏服务器需要服务少则几千多则上万(休闲游戏则足以多达几十万)的玩耍客户端,那个IO处理的负荷相当可观,由一组前端服务器承载这些IO负担能够有效的减轻后端服务器的IO负担,并且让后端服务器也只需要关爱游戏逻辑的贯彻,有效的落实IO和业务逻辑的解耦。

  架构如图:

图片 1

 

  对于网络游戏来说,客户端与服务器之间需要举办多次的报道,可是每个数据包的尺寸基本都很小,典型的深浅为多少个字节到几十个字节不等,同时用户上行的数据量要比下行数据量小的多。不同的游乐项目对延期的要求不太相同,FPS类的玩耍希望延迟要自愧不如50ms,MMO类型的100~400ms,一些休闲类的棋牌游戏1000ms左右的推移也是足以承受的。因而,网络游戏的报导是以优化延迟的同时又必须兼顾小包的会见以制止网络拥塞,哪个因素为主则需要遵照现实的游玩项目来决定。

  技术背景就介绍这几个,前面介绍的IOCP连接服务器就是以这一个需要为规划目的的。

 

■扣扣保镖:彪悍的QQ电脑管家攻势,彪悍的360“安全之名”,彪悍的竞争不需要说明。■新浪乐乎:作为“纯纯”的音讯门户,虎扑等候一款如网易邮箱、腾讯QQ那样的出品太久了。■联想乐Phone:移动互联网是好吃蛋糕,而蛋糕旁已经蹲了如狼似虎的苹果、Google,仍可以等呢?■Tmall商城:独立的、分拆的天猫商城,由于京东商城、乐酷天的B2C攻势,发力的必要性什么人都清楚。■团购:从单个产品扩展到10亿元营收产业,省钱理念逼出来需求。■盛大Bambook:华丽的网络文学需要快速变现的阅读终端,莱睿2000万视频头免驱超高清壁画头夜视麦克风,更何况PC端付费阅读正遭到免费挑衅。■人人小组:不爱偷菜了,也从不停车位了,社交网站重归“社交圈子”,豆瓣网的格局变得实惠。■“凡客”牌:网购平台多年来都是为他人做嫁衣,饮食美食,薄利多销但没有和谐的品牌,“凡客”们急需雄起。■英雄杀:当竞争对手盛大搞出那么一款风靡的“三国杀”,腾讯棋牌游戏感觉压力是早晚的。■网络剧:土豆、优酷们说,购买影视剧,烧钱压力实在太大了,《老男孩》或许可以名利双收。商报记者张绪旺
相关的主题小说:

IO工作线程 单线程vs多线程

  在大多数教学IOCP的篇章中都会提议接纳两个办事线程来拍卖IO事件,并且把工作线程数设置为CPU主题数的2倍。依据自己的记念,这种说法的出处来自于微软早期的法定文档。但是,在我看来这点一滴是一种误导。IOCP的筹划初衷就是用尽可能少的线程来拍卖IO事件,因而利用单线程处理我是未曾问题的,这可以使贯彻简化很多。反之,用多线程来处理的话,必须处处小心线程安全的题目,同时也会涉及到加锁的题目,而不适于的加锁反而会使性能急剧下降,甚至不如单线程程序。有些同学也许会认为接纳多线程可以发布多核CPU的优势,不过当前CPU的进度丰硕用来拍卖IO事件,一般现代CPU的单个主旨要处理一块千兆网卡的IO事件是绰绰有余的,最多的可以而且处理2块网卡的IO事件,瓶颈往往在网卡上。假诺是想通过多块网卡提高IO吞吐量的话,我的指出是使用多进程来横向扩充,多进程不仅可以在单台物理服务器上举办扩充,并且还足以扩张到多台物理服务器上,其伸缩性要比多线程更强。

  
当时微软指出的那些提出我想着重是考虑到在IO线程中除了IO处理之外还有工作逻辑需要处理,使用多线程可以解决工作逻辑不通的题目。不过将业务逻辑放在IO线程里处理我不是一种好的设计格局,这并未很好的成功IO和事务解耦,同时也限制了服务器的伸缩性。优秀的设计应当将IO和工作解耦,使用多进程或者多线程将事情逻辑放在此外的进程或者线程里进行拍卖,而IO线程只需要承受最简便易行的IO处理,并将接受的消息转发到事情逻辑的长河或者线程里处理就可以了。我的前端连接服务器也是遵照了这种规划形式。

   

socket池和对象池的分红政策

  允许socket重用是IOCP另一个优势,大家得以在server启动时,按照咱们对最大服务人口的预测,将兼具的socket资源都分配好。一般的话每个socket必需对应一个client对象,用来记录一些客户端的音讯,这个目标池也得以和socket绑定并优先分配好。在劳务运行前将享有的大块对象的内存资源都预先分配好,用一个FreeList来做对象池的分红,在客户端下线之后再将资源回收到池中。这样就足以制止在劳务运行过程中动态的分红大的对象,而有些索要暂时分配的小目的(例如OVERLAPPED结构),我们可以动用诸如tcmalloc之类的通用内存分配器来做,tcmalloc内部采纳小对象池算法,其分配性能和平静分外好,并且他的接口是非侵入式的,大家照样可以在代码里保留malloc/free及new/delete。很多劳动在漫长运行之后出现运行功效下降,内存占用过大等题材,都跟频繁的分配和自由内存导致出现大量的内存碎片有关。所以做好服务器的内存分配管理是任重而道远的一环。

 

待续….

 

下一篇将因而多少个压力测试和profiling的例子,来分析服务器的性能和瓶颈所在,请大家关注。

 

劳动框架的肤浅

  任何的服务器框架从本质上说都是包装一个轩然大波(伊芙(Eve)nt)音讯循环。而应用层只要向框架注册事件处理函数,响应事件并举行处理就足以了。一般的同步IO处理框架是先收下IO事件然后再展开IO操作,这类的事件处理框架我们称之为Reactor。而IOCP的特殊之处在于用户是首发起IO操作,然后接过IO完成的事件,次序和Reactor是倒转的,这类的事件处理框架我们称为Proactor。从词根Re和Pro上,咱们也足以容易的知晓这两者的歧异。除了网络IO事件之外,服务器应该还是可以响应提姆(Tim)er事件及用户自定义事件。框架做的工作就是把这多少个事件统统放到一个消息队列里,然后从队列中取出事件,调用相应的事件处理函数,如此循环。

  IOCP为我们提供了一个系统级的音讯队列(称之为完成队列),事件循环就是环绕着这一个完成队列展开的。在提倡IO操作后系统会举办异步处理(借使能立刻处理的话也会平昔处理掉),当操作完成后自行向这么些队列投递一条音信,不管是一直处理或者异步处理,最终总会投递完成音讯。

*  顺便提一下:这里存在一个特性优化的机会:当IO操作可以即时完成的话,倘若让系统不要再投递完成音讯,那么就可以减掉五遍系统调用(这足足可以节约多少个毫秒的支出),做法是调用SetFileCompletionNotificationModes(handle,
FILE_SKIP_COMPLETION_PORT_ON_SUCCESS),具体的能够查阅MSDN。*

  对于用户自定义事件可以使用Post来投递。对于提姆er事件,我的做法则是贯彻一个提姆erHeap的数据结构,然后在音讯循环中定期检查这多少个提姆(Tim)erHeap,对过期的提姆(Tim)er事件举办调度。

  IOCP完成队列重临的信息是一个OVERLAPPED结构体和一个ULONG_PTR
complete_key。complete_key是在用户将Socket
handle关联到IOCP的时候绑定的,其实用性不是很大,而OVERLAPPED结构体则是在用户发起IO操作的时候设置的,并且OVERLAPPED结构能够由用户通过连续的模式来扩展,由此怎么样用好OVERLAPPED结构在螺丝壳里做道场,就成了包装好IOCP的重大。

  这里,我利用了一个C++模板技巧来扩展OVERLAPPED结构,先看代码:

struct IOCPHandler
{
    virtual void Complete(ULONG_PTR key, DWORD size) = 0;
    virtual void OnError(ULONG_PTR key, DWORD error){}
    virtual void Destroy() = 0;
};

struct Overlapped : public OVERLAPPED
{
    IOCPHandler* handler;
};

template<class T>
struct OverlappedWrapper : T
{
    Overlapped overlap;

    OverlappedWrapper(){
        ZeroMemory(&overlap, sizeof(overlap));
        overlap.handler = this;
    }

    operator OVERLAPPED*(){return &overlap;}
};

  IOCPHandler是用户对象的接口,用户扩大那一个接口来实现IO完成事件的处理。然后经过一个OverlappedWrapper<T>的沙盘类将用户对象和OVERLAPPED结构封装成一个目的,T类型就是用户增添的靶子,由于用户对象位于OVERLAPPED结构体的前面,因而我们会将OVERLAPPED的指针传递给IO操作的API,同时我们在OVERLAPPED结构的前边还停放了一个用户对象的指针,当GetQueuedCompletionStatus接收到OVERLAPPED结构体指针后,咱们通过这一个指针就可以找到用户对象的地方了,然后调用虚函数Complete或者OnError就能够了。

  图解一下对象协会:

图片 2

 

在事件循环里的拍卖措施 :

DWORD size;
ULONG_PTR key;
Overlapped* overlap;
BOOL ret = ::GetQueuedCompletionStatus(_iocp, &size, &key, (LPOVERLAPPED*)&overlap, dt);
if(ret){
    if(overlap == 0){
        OnExit();
        break;
    }
    overlap->handler->Complete(key, size);
    overlap->handler->Destroy();
}
else {
    DWORD err = GetLastError();
    if(err == WAIT_TIMEOUT)
        UpdateTimer();
    else if(overlap) {
        overlap->handler->OnError(key, err);
        overlap->handler->Destroy();
    }
}

   在此地运用我们利用了C++的多态来扩展OVERLAPPED结构,在框架层完全不用关爱接收到的是怎么样IO事件,只需要应用层自己关心就够了,同时也制止了采纳丑陋的难于扩大的switch..case结构。

  对于异步操作来说,最令人痛苦的事情就是急需把原来顺序逻辑的代码强行拆分成多块来回调,这使得代码中原本蕴含的相继逻辑被打散,并且在挨家挨户代码块里的上下文变量不可能共享,必须另外生成一个目的放置这一个上下文变量,而那又掀起一个对象生存期管理的题目,对于尚未GC的C++来说尤为痛苦。解决异步逻辑的痛苦之道近期有二种方案:一种是用coroutine(协作式线程)将异步逻辑变成同步逻辑,在Windows上可以利用Fiber来实现coroutine;另一种方案是使用闭包,闭包原本是函数式语言的特点,在C++里并不曾,不过幸运的是我们得以经过一个有点麻烦一点的办法来效仿闭包行为。coroutine在解决异步逻辑方面是最擅长的,特别是一个函数里需要各类举行两个异步操作的时候更为强大(在这种情况下闭包也相形见拙),不过另一方面coroutine的贯彻相比较复杂,线程的手工调度经常把人绕晕,对于IOCP这种异步操作相比简单的面貌有点杀鸡用牛刀的觉得。因而最后自己如故控制利用C++来模拟闭包行为。

  这里演示一个一流的异步IO用法,看代码: 

图片 3图片 4一个异步发送的例子:

void Client::Send(const char* data, int size)
{
    const char* buf = AllocSendBuffer(data, size);

    struct SendHandler : public IOCPHandler
    {
        Client* client;
        int     cookie;

        virtual void Destroy(){    delete this; }
        virtual void Complete(ULONG_PTR key, DWORD size){
            if(!client->CheckAvaliable(cookie))
                return;
            client->EndSend(size);
        }
        virtual void OnError(ULONG_PTR key, DWORD error){
            if(!client->CheckAvaliable(cookie))
                return;
            client->OnError(E_SocketError, error);
        }
    };

    OverlappedWrapper<SendHandler>* handler = new OverlappedWrapper<SendHandler>();
    handler->cookie = _clientId;
    handler->client = this;
    int sent = 0;
    Error e = _socket.AsyncSend(buf, size, *handler, &sent);
    if(e.Check()){
        LogError2(“SendAsync Failed. %s”, FormatAPIError(_socket.CheckError()).c_str());
        handler->Destroy();
        OnError(E_SocketError, _socket.CheckError());
    }
    else if(sent == size){
        handler->Destroy();
        EndSend(size);
    }
}

   这么些事例中,我们在函数内部定义了一个SendHandler对象,模拟出了一个闭包的作为,我们能够把需要接纳的上下文变量放置在SendHandler内,当下次回调的时候就足以访问到那么些变量了。本例中,大家在SendHandler里记了一个cookie,其效劳是当异步操作再次来到时,可能这多少个Client对象已经被回收了,这个时候假设再调用EndSend必然会造成错误的结果,因而我们通过cookie来判断这个Client对象是否是那些异步操作发起时的Client对象。

  使用闭包固然并未coroutine这样赏心悦目的逐条逻辑结构,然则也丰富便利你把各类异步回调代码串起来,同时在闭包内共享需要拔取的上下文变量。此外,最新版的C++标准对闭包有了原生的匡助,实现起来会更便利一些,假如您的编译器充分新的话可以品尝拔取新的C++特性。

 

  

出殡缓冲的分红政策

  前边提到了关闭socket的殡葬缓冲,那么就关系到我们温馨如何来分配发送缓冲的问题。

  一种政策是给各个Socket分配一个原则性大小的环形缓冲区。这会设有一个题材:当缓冲区内积累的未发送数据加上新发送的数据大小超出了缓冲区的深浅,这些时候就会碰上麻烦,要么阻塞以伺机前方的数目发送完毕(但是IO线程不得以卡住),要么干脆直接把Socket关闭,一个投降的点子是竭尽把发送缓冲区设置的大片段,但这又会白白浪费很多内存。

  另一种政策是让所有的客户端socket共享一个要命大的环形缓冲区,假诺我们保留一个1G的内存区域给这多少个环形缓冲区,每便需要向客户端发送数据时就从那一个环形缓冲区分配内存,当缓冲区分配到底了再绕到开首重新分配。由于这么些缓冲区非凡大,1G的内存对千兆网卡来说至少需要花费10s才能发送完,并且在其实使用中这一个日子会远超10s。由此当新的数据从头起先分配的时候,老的数量早已经发送掉了,不用顾虑将老的数目覆盖,即使遇见网络不通,一个多少包超越10s还未发送掉的话,我们也足以因而超时判断主动关闭那个socket。

 

对IOCP服务器框架的体察

  在开首实现这么些连续服务器从前,我第一观看了部分存世的开源IOCP服务器框架库,老牌的如ACE,整个库太多庞大臃肿,代码也显老态,无好感。boost.asio据说是个不错的网络框架也帮忙IOCP,我编译运行了弹指间她的事例,然后尝试着读书了一下asio的代码,感觉非常恐惧,完全弄不晓得里边是怎么落实的,于是丢弃。asio秉承了boost一向的变态作风,将C++的言语技巧凌驾于统筹和代码可读性之上,这是自己非凡反对的。其他部分不入流的IOCP框架也看了部分,真是写的多种多样何以的贯彻都有,总体感觉下来IOCP确实不太容易把握和抽象,所以才促成五花八门的实现。最终,仍然控制自己重新造轮子。

 

上一篇首要谈了一部分为主看法,本篇将研讨自己个人总括的有的IOCP编程技巧。

关门发送缓冲区实现和谐的nagle算法

  IOCP最大的优势就是她的八面玲珑,关闭socket上的发送缓冲区就是一例。很五人觉得关闭发送缓冲的价值是足以减掉一回内存拷贝的开发,在我看来这只是捡了一粒芝麻而已。主流的千兆网卡其最大数量吞吐量不过区区120MB/s,而内存数据拷贝的吞吐量是10GB/s以上,多两次120MB/s数据拷贝,仅消耗1%的内存带宽,意义特别简单。

  在平凡的Socket编程中,我们只有打开nagle算法或者不打开的选项,策略的选项和参数的微调是从未有过办法做到的。而当我们关闭发送缓冲之后,每一遍Send操作必然会等到数码发送到对方的磋商栈里并且吸纳ACK确认才会回到完成消息,这就给了俺们一个实现自定义的nagle算法的火候。对于网络游戏这种需要反复发送小数据包,打开nagle算法能够有效的集合发送小数目包以降低网络IO负担,但另一方面也加大了延期,对游戏性造成不利影响。有了关闭发送缓冲的表征之后,大家就足以自行决定nagle算法的兑现细节,在上一个send操作没有截至在此以前,我们得以控制是当时发送新的数目(以降低延迟),仍然累积数据等待上一个send截至或者逾期后再发送。更扑朔迷离一点的国策是可以让服务器容忍多少个未终止的send操作,当不止一个阈值后再累积数据,使得在IO吞吐量和推迟上达成一个靠边的平衡。

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图