shell中>/dev/null 2>&1是什么鬼？

2016-11-8 杜世伟 Linux

背景
我们经常能在shell脚本中发现>/dev/null 2>&1这样的语句。以前的我并没有去深入地理解这段命令的作用，照搬照用，直到上周我将这段命令不小心写成了2>&1 >/dev/null，出了一点小问题之后，我才开始去了解这段命令背后的“玄机”。

shell重定向介绍
就像我们平时写的程序一样，一段程序会处理外部的输入，然后将运算结果输出到指定的位置。在交互式的程序中，输入来自用户的键盘和鼠标，结果输出到用户的屏幕，甚至播放设备中。而对于某些后台运行的程序，输入可能来自于外部的一些文件，运算的结果通常又写到其他的文件中。而且程序在运行的过程中，会有一些关键性的信息，比如异常堆栈，外部接口调用情况等，这些都会统统写到日志文件里。

shell脚本也一样，但是我们一般在使用shell命令的时候，更多地还是通过键盘输入，然后在屏幕上查看命令的执行结果。如果某些情况下，我们需要将shell命令的执行结果存储到文件中，那么我们就需要使用输入输出的重定向功能。

文件描述符
当执行shell命令时，会默认打开3个文件，每个文件有对应的文件描述符来方便我们使用：

阅读全文>>

标签: linux shell dev

评论(0) 浏览(9864)

如何健壮你的后端服务？

2016-11-1 杜世伟 架构

对每一个程序员而言，故障都是悬在头上的达摩克利斯之剑，都唯恐避之不及，如何避免故障是每一个程序员都在苦苦追寻希望解决的问题。对于这一问题，大家都可以从需求分析、架构设计 、代码编写、测试、code review、上线、线上服务运维等各个视角给出自己的答案。本人结合自己两年有限的互联网后端工作经验，从某几个视角谈谈自己对这一问题的理解，不足之处，望大家多多指出。

我们大部分服务都是如下的结构，既要给使用方使用，又依赖于他人提供的第三方服务，中间又穿插了各种业务、算法、数据等逻辑，这里面每一块都可能是故障的来源。如何避免故障？我用一句话概括，“怀疑第三方，防备使用方，做好自己”。

1 怀疑第三方

坚持一条信念：“所有第三方服务都不可靠”，不管第三方什么天花乱坠的承诺。基于这样的信念，我们需要有以下行动。

1.1 有兜底，制定好业务降级方案

如果第三方服务挂掉怎么办？我们业务也跟着挂掉？显然这不是我们希望看到的结果，如果能制定好降级方案，那将大大提高服务的可靠性。举几个例子以便大家更好的理解。

阅读全文>>

标签: 后端 服务 架构设计

评论(0) 浏览(16356)

python 匿名函数

2016-10-23 杜世伟 Python

python 匿名函数

1.定义： 
        匿名函数顾名思义就是指：是指一类无需定义标识符（函数名）的函数或子程序。
2.语法格式：
         lambda 参数:表达式
         lambda语句中，开头先写关键字lambda，冒号前是参数，可以有多个，用逗号隔开；冒号右边的为表达式，需要注意的是只能有一个表达式。由于lambda返回的是函数对象（构建的是一个函数对象），所以需要定义一个变量去接收。

3.注意点：

          lambda 函数可以接收任意多个参数 (包括可选参数) 并且返回单个表达式的值。lambda 函数不能包含命令，包含的表达式不能超过一个。

4.匿名函数优点：
         使用Python写一些脚本时，使用lambda可以省去定义函数的过程，让代码更加精简。
         对于一些抽象的，不会被别的地方再重复使用的函数，有时候函数起个名字也是个难题，使用lambda不需要考虑命名的问题
         使用lambda在某些时候然后代码更容易理解

5.应用：
         在内置函数 max() 求最大值,min()求最小值, map() 映射, reduce 合并, filter() 过滤 中会用到！

阅读全文>>

标签: python lambda

评论(0) 浏览(5516)

Linux下9 个使用前必须再三小心的命令

2016-10-14 杜世伟 Linux

Linux Shell/terminal 命令非常强大，即使一个简单的命令就可能导致文件夹、文件或者路径文件夹等被删除。

在一些情况下，Linux 甚至不会询问你而直接执行命令，导致你丢失各种数据信息。

一般来说在 Web 上推荐新的 Linux 用户执行这些命令，当然，也有人哪些写过这代码的人不这么想，因为这玩意你一写下去就不是玩笑了。

这里我收集了一些对系统有危害的 Linux 代码，帮助你避免他们。请记住：这些代码非常危险，甚至可以经过修改，变得更加有危害性。

还有一些事情需要注意：一些命令只在 Ubuntu 中有 sudo 前缀时是有危害的。其他发行版本的 Linux，则是在作为根目录命令时会有危害。



1. Linux Fork Bomb Command

: (){ :: & };: 以 Fork Bomb 闻名，是一个拒绝服务攻击的 Linux 系统。: (){ :: & };: 是一个 bash 函数。只要被执行，他会不断重复，直到系统被冻结。

你只能重启系统解决这个问题。所以当你在 Linux 界面执行这个命令时一定要注意。

阅读全文>>

标签: mv tar shell linux.rm fork

评论(0) 浏览(6113)

linux 内存清理/释放命令

2016-10-11 杜世伟 Linux

在Linux系统下，我们一般不需要去释放内存，因为系统已经将内存管理的很好。但是凡事也有例外，有的时候内存会被缓存占用掉，导致系统使用SWAP空间影响性能，此时就需要执行释放内存（清理缓存）的操作了。

Linux系统的缓存机制是相当先进的，他会针对dentry（用于VFS，加速文件路径名到inode的转换）、Buffer Cache（针对磁盘块的读写）和Page Cache（针对文件inode的读写）进行缓存操作。但是在进行了大量文件操作之后，缓存会把内存资源基本用光。但实际上我们文件操作已经完成，这部分缓存已经用不到了。这个时候，我们难道只能眼睁睁的看着缓存把内存空间占据掉么？

所以，我们还是有必要来手动进行Linux下释放内存的操作，其实也就是释放缓存的操作了。

要达到释放缓存的目的，我们首先需要了解下关键的配置文件/proc/sys/vm/drop_caches。这个文件中记录了缓存释放的参数，默认值为0，也就是不释放缓存。他的值可以为0~3之间的任意数字，代表着不同的含义：

0 – 不释放
1 – 释放页缓存
2 – 释放dentries和inodes
3 – 释放所有缓存

知道了参数后，我们就可以根据我们的需要，使用下面的指令来进行操作。

首先我们需要使用sync指令，将所有未写的系统缓冲区写到磁盘中，包含已修改的 i-node、已延迟的块 I/O 和读写映射文件。否则在释放缓存的过程中，可能会丢失未保存的文件。

阅读全文>>

标签: linux cache Buffer

评论(0) 浏览(2095)

Centos卸载Php的安装环境

2016-8-12 杜世伟 Php

当我安装Php7.0版本的时候提示：
Error: php70w-common conflicts with php-common-5.4.16-42.el7.x86_64

于是决定卸载Centos上Php的安装环境
查看php版本命令：
#php -v
PHP 5.4.16 (cli) (built: Aug 11 2016 21:24:59)
Copyright (c) 1997-2013 The PHP Group
Zend Engine v2.4.0, Copyright (c) 1998-2013 Zend Technologies
这个命令是删除不干净的
#yum remove php
因为使用这个命令以后再用
#php -v
还是会看到有版本信息的。。。。。

阅读全文>>

标签: PHP linux rpm centos

评论(0) 浏览(9580)

MySQL大表优化方案

2016-8-3 杜世伟 架构

当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：

单表优化

除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量：

字段

  • 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT，如果非负则加上UNSIGNED

  • VARCHAR的长度只分配真正需要的空间

  • 使用枚举或整数代替字符串类型

  • 尽量使用TIMESTAMP而非DATETIME，

  • 单表不要有太多字段，建议在20以内

  • 避免使用NULL字段，很难查询优化且占用额外索引空间

  • 用整型来存IP

索引

  • 索引并不是越多越好，要根据查询有针对性的创建，考虑在WHERE和ORDER BY命令上涉及的列建立索引，可根据EXPLAIN来查看是否用了索引还是全表扫描

阅读全文>>

标签: mysql

评论(0) 浏览(1774)

Centos Python2 升级到Python3的简单实现

2016-6-22 杜世伟 Python

1. 从Python官网到获取Python3的包， 切换到目录/usr/local/src

wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tar.xz
2. 使用命令如下命令进行解压缩：

xz -d Python-3.5.1.tar.xz
tar -xf Python-3.5.1.tar.xz
3. 在/usr/local路径下创建目录--python3.5， 为第4步创建安装目录1. 从Python官网到获取Python3的包， 切换到目录/usr/local/src
wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tar.xz
2. 使用命令如下命令进行解压缩：

阅读全文>>

标签: linux python

评论(0) 浏览(10473)

《Redis官方教程》Redis集群规范

2016-6-20 杜世伟 Redis

Redis集群规范

欢迎来到Redis集群规范。在这里你可以找到有关Redis的算法和设计的基本原理。这篇文章是一项正在进行的工作，因为它是不断地与Redis的实际实现同步。

 主要属性和设计原理

Redis的集群目标

 Redis集群是一个分布式的实现，具有以下目标，按设计的重要性排序：

  • 高性能，并且多达1000个节点的线性可扩展性。没有代理，使用异步复制，并且在进行赋值时没有合并操作。
  • 可接受程度的写安全：当客户端与大多数master节点建立连接后，系统努力（使用最优的方式）保持来自客户端的写操作。通常有小窗口，其中确认的写操作可能会丢失。当客户端在一个小的分区中，窗口丢失写操作会更大。
  • 可用性：Redis集群支持网络分区——其中大部分主节点都可访问，并且不可访问的各master节点对应的从至少一个可访问。而且采用副本迁移，有多个从的主会提供一个从给没有从的主。

阅读全文>>

标签: redis

评论(0) 浏览(2140)

Python Virtualenv 虚拟环境

2016-6-16 杜世伟 Python

什么是virtualenv?

virtualenv用于创建独立的Python环境，多个Python相互独立，互不影响，它能够：
1. 在没有权限的情况下安装新套件
2. 不同应用可以使用不同的套件版本
3. 套件升级不影响其他应用

阅读全文>>

标签: linux python Virtualenv

评论(0) 浏览(10953)

Powered by emlog 沪ICP备2023034538号-1