March 30, 2015
亿级用户下的新浪微博平台架构
"序言 新浪微博在2014年3月公布的月活跃用户(MAU)已经达到1.43亿,2014年新年第一分钟发送的微博达808298条,如此巨大的用户规模和业务量,需要高可用(HA)、高并发访问、低延时的强大后台系统支撑。\n微博平台第一代架构为LAMP架构,数据库使用的是MyIsam,后台用的是php,缓存为Memcache。\n随着应用规模的增长,衍生出的第二代架构对业务功能进行了模块化、服务化和组件化,后台系统从php替换为Java,逐渐形成SOA架构,在很长一段时间支撑了微博平台的业务发展。\n在此基础上又经过长时间的重构、线上运行、思索与沉淀,平台形成了第三代架构体系。\n我们先看一张微博的核心业务图(如下),是不是非常复杂?但这已经是一个简化的不能再简化的业务图了,第三代技术体系就是为了保障在微博核心业务上快速、高效、可靠地发布新产品新功能。\n第三代技术体系 微博平台的第三代技术体系,使用正交分解法建立模型:在水平方向,采用典型的三级分层模型,即接口层、服务层与资源层;在垂直方向,进一步细分为业务架构、技术架构、监控平台与服务治理平台。下面是平台的整体架构图:\n如上图所示,正交分解法将整个图 …"
March 28, 2015
用PHP尝试RabbitMQ(amqp扩展)实现消息的发送和接收
"上篇文章我们介绍了 amqp扩展在windows下的安装方法,这里我们看一下用法。\n消费者:接收消息\n逻辑: 创建连接–\u0026gt;创建channel–\u0026gt;创建交换机–\u0026gt;创建队列–\u0026gt;绑定交换机/队列/路由键–\u0026gt;接收消息\n\u0026lt;?php /************************************* * PHP amqp(RabbitMQ) Demo - consumer * Author: Linvo * Date: 2012/7/30 *************************************/ //配置信息 $conn_args = array( \u0026#39;host\u0026#39; =\u0026gt; \u0026#39;192.168.1.93\u0026#39;, \u0026#39;port\u0026#39; =\u0026gt; \u0026#39;5672\u0026#39;, \u0026#39;login\u0026#39; =\u0026gt; \u0026#39;guest\u0026#39;, \u0026#39;password\u0026#39; =\u0026gt; \u0026#39;guest\u0026#39;, \u0026#39;vhost\u0026#39;=\u0026gt;\u0026#39;/\u0026#39; …"
March 28, 2015
windows下安装rabbitmq的php扩展amqp(原创)
"从php官方下载相应的版本 http://pecl.php.net/package/amqp,我这里使用的是1.4.0版本( http://pecl.php.net/package/amqp/1.4.0/windows) 根据当前使用的php版本选择相应的扩展dll,下载后是一个压缩包,里面有两个dll扩展(php_amqp.dll和rabbitmq.1.dll)。\n我的环境是64位的,php5.5.12.所以使用的是 http://windows.php.net/downloads/pecl/releases/amqp/1.4.0/php_amqp-1.4.0-5.5-ts-vc11-x64.zip\n1.将php_amqp.dll放在php的ext目录里,然后修改php.ini文件,在文件的最后面添加两行\n[amqp\\] extension=php_amqp.dll 2.将rabbitmq.1.dll文件放在php的根目录里(也就是ext目录的父级目录),然后修改apache的httpd.con文件,文件尾部添加一行\nLoadFile …"
March 6, 2015
关于Pull Request的十个建议(转)
"Pull Request是Bitbucket、GitHub等源代码托管系统为了方便开发者之间协作而提供的一个功能,它提供了一个用户友好的Web界面来帮助审查人员进行代码审查。开发人员可以通过GitHub发出Pull Requests要求请求他人将程序拉下来进行代码审查。一个好的Pull Request不仅仅只是代码的事情,还牵涉到代码审查者对代码的审查,所以开发者不仅要写出好的代码,还必须迎合审查者的审查工作,才能给使得自己贡献的代码顺利通过审查并合并到master分支。现对丹麦的程序员、软件架构师、独立顾问Mark Seemann在自己博客中发布的一篇题为《关于Pull Request的十个建议》的文章进行一个全面的整理,以供读者阅读和参考。具体内容如下:\n1. 进行较小的Pull Request 一个小且集中的Pull Request会使得提交的代码更加容易通过审核。据Mark Seemann根据自己的经验透漏,对提交代码进行审查所花费的时间是随着代码大小呈指数增长,而非线性增长;Pull Request多大才合适与Pull Request做了什么相关,最好少于12个文件的改变。如 …"
December 6, 2014
Linux 下添加硬盘/新建分区(fdisk + mkfs.ext4 + mount)
"此教程只供参考,未进行整理!\n使用fdisk命令查看新添加的硬盘\n会看到类似这种页面信息的(说明:这里的图为已经有两个硬盘在使用了, 新添加的硬盘为sdc,尚未使用)\n第一步:添加硬盘/新建分区(fdisk) 第二步:格式化分区(mkfs.ext4) 第三步:加载分区(mount) 1、第一步:添加硬盘/新建分区(fdisk)\na、查看当前系统所有硬盘及分区情况:fdisk -l\nb、在指定的硬盘(例:/dev/sdb)上创建分区:fdisk /dev/sdb , 根据提示进行下一步操作,如:查看帮助(h),新建分区(n),删除分区(d),查看分区情况(p)\nc、分区成功后,写分区表并退出(w)\n注:fdisk 支持硬盘最大尺寸为 2TB,更详细说明请参看 Linux 在线手册(man fdisk)或百度一下。\n2、第二步:格式化分区(mkfs.ext4)\n对新建分区(例:/dev/sdb1)进行格式化:mkfs.ext4 /dev/sdb1 。\n3、第三步:加载分区\na、创建分区挂接目录,例:mkdir /disk-cache-1 和 mkdir /disk-cache-2\nb、 …"
September 14, 2014
使用git-flow来帮助管理git代码
"对git不熟悉的我,经常把git提交搞得很乱,导致在master上有许多无用的commit,最终决定好好地看一下git的使用教程,却不小心发现了还有一个git-flow的工具可以帮助我管理好git项目的代码。\ngit-flow在ubuntu上使用比较简单。首先安装,可以通过apt-get来获取。命令如下:\nsudo apt-get install git-flow\n如果是在windows下,可以参考这篇文章进行安装: http://my.eoe.cn/sunxun/archive/158.html\n如果你的git已经装好,则方便多了,下载下面两个地址的文件,并解压出getopt.exe和libintl3.dll放到git的安装目录的bin目录下。 http://sourceforge.net/projects/gnuwin32/files/util-linux/2.14.1/util-linux-ng-2.14.1-bin.zip/download …"
August 13, 2014
基本调优工具
"一 mpstat – 查看CPU使率信息 vmstat – 报告虚存统计数据 iostat – 报告CPU状态和存储I/O统计数据 netstat – 报告络栈各项参数 ps – 系统上运的进程及其状态 top – 报告占CPU和内存最的进程 sar – 报告系统活动状态 pidstat – 检查具体某个进程的CPU和内存情况 perf – 综合性能检查具\n二 sysctl – 调整内核参数 strace – 跟踪进程的执 dtrace – 综合跟踪具 stap – 综合跟踪具 taskset – 绑定执CPU pmap – 报告进程内存映射信息 free – 报告物理帧和虚拟帧信息 dmesg – 系统启动信息,包括对各设备的监测 /proc – 各项系统参数读写接\n三 /sys – 额外系统参数读写接 iotop – 类似top,但于检测I/O ionice – 类似nice,但于设置进程的I/O优先级 ifcong – 监测与配置络接 tcpdump – 捕获某个络接上的流量 nicstat – 监测卡状态 sysctl – 调整内核参数 strace – …"
August 2, 2014
RabbitMQ中的ack介绍
"no_ack 的用途:确保 message 被 consumer “成功”处理了。这里“成功”的意思是,(在设置了 no_ack=false 的情况下)只要 consumer 手动应答了 Basic.Ack ,就算其“成功”处理了。\n对于ack简单的说就是“消费者”先从queue里读取一条数据,然后去处理,等处理完了,再给queue一个 ack 回应,表示处理完了,这时queue就将这条数据从队列中删除。如果不回应给队列ack的话,则这条消息仍然存在在queue中(这个也属于一种应用场景)。\n在 no_ack=true 的情况下,RabbitMQ 认为 message 一旦被 deliver 出去了,就已被确认了,所以会立即将缓存中的 message 删除。所以在 consumer 异常时会导致消息丢失。\nno_ack=false(此时为 手动应答)\n在这种情况下,要求 consumer 在处理完接收到的 Basic.Deliver + Content-Header + Content-Body 之后才回复 Ack 。而这个 Ack 是 AMQP 协议中的 Basic.Ack 。 …"
August 1, 2014
认识 RabbitMQ 消息队列
"RabbitMQ架构图 rabbitmq 架构图\n基本概念 Broker:简单来说就是消息队列服务器实体。 Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。 Queue:消息队列载体,每个消息都会被投入到一个或多个队列。 Binding:绑定,它的作用就是把exchange和queue按照路由规则绑定起来。 Routing Key:路由关键字,exchange根据这个关键字进行消息投递。 vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离。 producer:消息生产者,就是投递消息的程序。 consumer:消息消费者,就是接受消息的程序。 channel:消息通道,在客户端的每个连接里,可建立多个channel,每个channel代表一个会话任务。\n操作流程 (1)客户端连接到消息队列服务器,打开一个channel。 (2)客户端声明一个exchange,并设置相关属性。 (3)客户端声明一个queue,并设置相关属性。 (4)客户端使用routing key,在exchange和queue之间建立好绑定关系。 (5)客户端投 …"
August 1, 2014
将rabbitmq 里的消息持久化
"消息持久设置: 将交换机置为可持久;\n将通道置为可持久\n消息发送时设置可持久。\n当我们“生产”了一条可持久化的消息,尝试中断MQ服务,启动消费者获取消息,消息依然能够恢复。相反,则抛出异常。\n上面三条必须全部设置,不然消息将无法持久化。"