python setuptools 安装

2017-1-15 杜世伟 Python

python下的setuptools带有一个easy_install的工具，在安装python的每三方模块、工具时很有用，也很方便。

安装setuptools前先安装pip，

请参考：linux下pip的安装步骤及使用详解

1. 下载:
在它的官网可以下载到安装包:
https://pypi.python.org/pypi/setuptools

页面最下面的是它的安装链接,如:
$wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-12.0.3.tar.gz#md5=f07e4b0f4c1c9368fcd980d888b29a65

tar -zxvf setuptools-12.0.3.tar.gz
cd setuptools-12.0.3
python setup.py install

如果在安装过程中出现以下错误：
Installed /usr/local/python2.7.3/lib/python2.7/site-packages/supervisor-4.0.0_dev-py2.7.egg
Processing dependencies for supervisor==4.0.0-dev
Searching for meld3>=1.0.0
Reading https://pypi.python.org/simple/meld3/
Download error on https://pypi.python.org/simple/meld3/: [Errno 1] _ssl.c:504: error:14090086:SSL 

阅读全文>>

标签: python pip setuptools

评论(0) 浏览(13992)

module' object has no attribute 'OP_NO_TLSv1_1

2017-1-9 杜世伟 Python

阅读全文>>

标签: python pip scrapy twisted

评论(0) 浏览(11859)

大型网站技术架构-入门梳理

2017-1-8 杜世伟 架构

罗列了大型网站架构涉及到的概念，附上了简单说明

前言

• 本文是对《大型网站架构设计》(李智慧 著)一书的梳理，类似文字版的“思维导图”
• 全文主要围绕“性能，可用性，伸缩性，扩展性，安全”这五个要素
• 性能，可用性，伸缩性这几个要素基本都涉及到应用服务器，缓存服务器，存储服务器这几个方面

概述

• 三个纬度：演化、模式、要素
• 五个要素： 性能，可用性，伸缩性，扩展性，安全

演化历程

图例可参考 大型网站架构演化历程：

1. 初始阶段的网站架构：一台服务器，上面同时拥有应用程序，数据库，文件，等所有资源。例如 LAMP 架构
2. 应用和数据服务分离：三台服务器（硬件资源各不相同），分别是应用服务器，文件服务器和数据库服务器
3. 使用缓存改善网站性能：分为两种，缓存在应用服务器上的本地缓存和缓存在专门的分布式缓存服务器的远程缓存
4. 使用应用服务器集群改善网站并发处理能力：通过负载均衡调度服务器来将访问请求分发到应用服务器集群中的任何一台机器
5. 数据库读写分离：数据库采用主从热备，应用服务器在写数据时访问主数据库，主数据库通过主从复制机制将数据更新同步到从数据库。应用服务器使用专门的数据访问模块从而对应用透明
6. 使用反向代理和 CDN 加速网站响应：这两者基本原理都是缓存。反向代理部署在网站的中心机房，CDN 部署在网络提供商的机房
7. 使用分布式文件系统和分布式数据库系统：数据库拆分的最后手段，更常用的是业务分库
8. 使用 NoSQL 和搜索引擎：对可伸缩的分布式有更好的支持
9. 业务拆分：将整个网站业务拆分成不同的应用，每个应用独立部署维护，应用之间通过超链接建立联系/消息队列进行数据分发/访问同一数据存储系统
10. 分布式服务：公共业务提取出来独立部署

阅读全文>>

标签: haproxy lvs web tcp

评论(0) 浏览(2210)

ELK+Filebeat 集中式日志解决方案详解

2016-12-27 杜世伟 Linux

ELK Stack 简介

ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。

• Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能；
• Logstash：数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；
• Kibana：数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示；
• Filebeat：ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，基于 Logstash-Forwarder 源代码开发，是对它的替代。在需要采集日志数据的 server 上安装 Filebeat，并指定日志目录或日志文件后，Filebeat 就能读取数据，迅速发送到 Logstash 进行解析，亦或直接发送到 Elasticsearch 进行集中式存储和分析。

阅读全文>>

标签: linux Kibana Logstash Elasticsearch stack elk Filebeat

评论(0) 浏览(9841)

PHP性能优化工具--vld

2016-12-25 杜世伟 Php

wget http://pecl.php.net/get/vld-0.14.0.tgz #download vld

tar zxvf vld-0.14.0.tgz #Decompression package

cd vld-0.14.0 #change dir

phpize #Expanded php extension module

locate php-config #use locate find php-config path

如果提示not found locate command，使用以下命令安装：

阅读全文>>

标签: PHP configure yum vld locate phpize

评论(0) 浏览(14271)

shell中>/dev/null 2>&1是什么鬼？

2016-11-8 杜世伟 Linux

背景
我们经常能在shell脚本中发现>/dev/null 2>&1这样的语句。以前的我并没有去深入地理解这段命令的作用，照搬照用，直到上周我将这段命令不小心写成了2>&1 >/dev/null，出了一点小问题之后，我才开始去了解这段命令背后的“玄机”。

shell重定向介绍
就像我们平时写的程序一样，一段程序会处理外部的输入，然后将运算结果输出到指定的位置。在交互式的程序中，输入来自用户的键盘和鼠标，结果输出到用户的屏幕，甚至播放设备中。而对于某些后台运行的程序，输入可能来自于外部的一些文件，运算的结果通常又写到其他的文件中。而且程序在运行的过程中，会有一些关键性的信息，比如异常堆栈，外部接口调用情况等，这些都会统统写到日志文件里。

shell脚本也一样，但是我们一般在使用shell命令的时候，更多地还是通过键盘输入，然后在屏幕上查看命令的执行结果。如果某些情况下，我们需要将shell命令的执行结果存储到文件中，那么我们就需要使用输入输出的重定向功能。

文件描述符
当执行shell命令时，会默认打开3个文件，每个文件有对应的文件描述符来方便我们使用：

阅读全文>>

标签: linux shell dev

评论(0) 浏览(9785)

如何健壮你的后端服务？

2016-11-1 杜世伟 架构

对每一个程序员而言，故障都是悬在头上的达摩克利斯之剑，都唯恐避之不及，如何避免故障是每一个程序员都在苦苦追寻希望解决的问题。对于这一问题，大家都可以从需求分析、架构设计 、代码编写、测试、code review、上线、线上服务运维等各个视角给出自己的答案。本人结合自己两年有限的互联网后端工作经验，从某几个视角谈谈自己对这一问题的理解，不足之处，望大家多多指出。

我们大部分服务都是如下的结构，既要给使用方使用，又依赖于他人提供的第三方服务，中间又穿插了各种业务、算法、数据等逻辑，这里面每一块都可能是故障的来源。如何避免故障？我用一句话概括，“怀疑第三方，防备使用方，做好自己”。

1 怀疑第三方

坚持一条信念：“所有第三方服务都不可靠”，不管第三方什么天花乱坠的承诺。基于这样的信念，我们需要有以下行动。

1.1 有兜底，制定好业务降级方案

如果第三方服务挂掉怎么办？我们业务也跟着挂掉？显然这不是我们希望看到的结果，如果能制定好降级方案，那将大大提高服务的可靠性。举几个例子以便大家更好的理解。

阅读全文>>

标签: 后端 服务 架构设计

评论(0) 浏览(16282)

python 匿名函数

2016-10-23 杜世伟 Python

python 匿名函数

1.定义： 
        匿名函数顾名思义就是指：是指一类无需定义标识符（函数名）的函数或子程序。
2.语法格式：
         lambda 参数:表达式
         lambda语句中，开头先写关键字lambda，冒号前是参数，可以有多个，用逗号隔开；冒号右边的为表达式，需要注意的是只能有一个表达式。由于lambda返回的是函数对象（构建的是一个函数对象），所以需要定义一个变量去接收。

3.注意点：

          lambda 函数可以接收任意多个参数 (包括可选参数) 并且返回单个表达式的值。lambda 函数不能包含命令，包含的表达式不能超过一个。

4.匿名函数优点：
         使用Python写一些脚本时，使用lambda可以省去定义函数的过程，让代码更加精简。
         对于一些抽象的，不会被别的地方再重复使用的函数，有时候函数起个名字也是个难题，使用lambda不需要考虑命名的问题
         使用lambda在某些时候然后代码更容易理解

5.应用：
         在内置函数 max() 求最大值,min()求最小值, map() 映射, reduce 合并, filter() 过滤 中会用到！

阅读全文>>

标签: python lambda

评论(0) 浏览(5425)

Linux下9 个使用前必须再三小心的命令

2016-10-14 杜世伟 Linux

Linux Shell/terminal 命令非常强大，即使一个简单的命令就可能导致文件夹、文件或者路径文件夹等被删除。

在一些情况下，Linux 甚至不会询问你而直接执行命令，导致你丢失各种数据信息。

一般来说在 Web 上推荐新的 Linux 用户执行这些命令，当然，也有人哪些写过这代码的人不这么想，因为这玩意你一写下去就不是玩笑了。

这里我收集了一些对系统有危害的 Linux 代码，帮助你避免他们。请记住：这些代码非常危险，甚至可以经过修改，变得更加有危害性。

还有一些事情需要注意：一些命令只在 Ubuntu 中有 sudo 前缀时是有危害的。其他发行版本的 Linux，则是在作为根目录命令时会有危害。



1. Linux Fork Bomb Command

: (){ :: & };: 以 Fork Bomb 闻名，是一个拒绝服务攻击的 Linux 系统。: (){ :: & };: 是一个 bash 函数。只要被执行，他会不断重复，直到系统被冻结。

你只能重启系统解决这个问题。所以当你在 Linux 界面执行这个命令时一定要注意。

阅读全文>>

标签: mv tar shell linux.rm fork

评论(0) 浏览(6037)

linux 内存清理/释放命令

2016-10-11 杜世伟 Linux

在Linux系统下，我们一般不需要去释放内存，因为系统已经将内存管理的很好。但是凡事也有例外，有的时候内存会被缓存占用掉，导致系统使用SWAP空间影响性能，此时就需要执行释放内存（清理缓存）的操作了。

Linux系统的缓存机制是相当先进的，他会针对dentry（用于VFS，加速文件路径名到inode的转换）、Buffer Cache（针对磁盘块的读写）和Page Cache（针对文件inode的读写）进行缓存操作。但是在进行了大量文件操作之后，缓存会把内存资源基本用光。但实际上我们文件操作已经完成，这部分缓存已经用不到了。这个时候，我们难道只能眼睁睁的看着缓存把内存空间占据掉么？

所以，我们还是有必要来手动进行Linux下释放内存的操作，其实也就是释放缓存的操作了。

要达到释放缓存的目的，我们首先需要了解下关键的配置文件/proc/sys/vm/drop_caches。这个文件中记录了缓存释放的参数，默认值为0，也就是不释放缓存。他的值可以为0~3之间的任意数字，代表着不同的含义：

0 – 不释放
1 – 释放页缓存
2 – 释放dentries和inodes
3 – 释放所有缓存

知道了参数后，我们就可以根据我们的需要，使用下面的指令来进行操作。

首先我们需要使用sync指令，将所有未写的系统缓冲区写到磁盘中，包含已修改的 i-node、已延迟的块 I/O 和读写映射文件。否则在释放缓存的过程中，可能会丢失未保存的文件。

阅读全文>>

标签: linux cache Buffer

评论(0) 浏览(1994)