从苦逼到牛逼，详解Linux运维工程师的打怪升级之路

2017-10-1 杜世伟 Linux

运维工程师是从一个呆逼进化为苦逼再成长为牛逼的过程，前提在于你要能忍能干能拼，还要具有敏锐的嗅觉感知前方潮流变化。如：今年大数据，人工智能比较火……(相对表示就是 Python 比较火）

之前写过运维基础篇，发现对很多人收益挺大，接下来也写下关于这4年多的运维实践经验，从事了2年多游戏运维，1年多安全运维，1年大数据运维，相关行业信息不能算非常精通，但是熟悉和熟练还是相对可以的。


初级篇


linux运维人员常用工具拓扑详见：


阅读全文>>

标签: linux rsync sed awk python

评论(0) 浏览(20258)

linux php 安装xdebug扩展

2017-9-6 杜世伟 Php

# 1. Xdebug 简介
# Xdebug 是一个开放源代码的 PHP 程序调试器(即一个Debug工具)，可以用来跟踪，调试和分析PHP程序的运行状况。当前最新版本为 Xdebug 2.6.0。

# 2. Xdebug 相关资料
# 官网：https://xdebug.org
# 官网文档：https://xdebug.org/docs
通过pecl安装xdebug扩展
php环境：PHP 7.0.24
系统环境:CentOS Linux release 7.4.1708 (Core) 
#install xdebug 以下使用pecl安装php扩展，pecl安装传送门
pecl install xdebug

Warning: Invalid argument supplied for foreach() in Command.php on line 249
Warning: Invalid argument supplied for foreach() in /usr/share/pear/PEAR/Command.php on line 249
Warning: Invalid argument supplied for foreach() in Command.php on line 249
Warning: Invalid argument supplied for foreach() in /usr/share/pear/PEAR/Command.php on line 249
Warning: Invalid argument supplied for foreach() in Command.php on line 249
Warning: Invalid argument supplied for foreach() in /usr/share/pear/PEAR/Command.php on line 249
Warning: Invalid argument supplied for foreach() in Command.php on line 249
Warning: Invalid argument supplied for foreach() in /usr/share/pear/PEAR/Command.php on line 249
Warning: Invalid argument supplied for foreach() in Command.php on line 249
Warning: Invalid argument supplied for foreach() in /usr/share/pear/PEAR/Command.php on line 249
Warning: Invalid argument supplied for foreach() in Command.php on line 249
Warning: Invalid argument supplied for foreach() in /usr/share/pear/PEAR/Command.php on line 249
Warning: Invalid argument supplied for foreach() in Command.php on line 249
Warning: Invalid argument supplied for foreach() in /usr/share/pear/PEAR/Command.php on line 249
Warning: Invalid argument supplied for foreach() in Command.php on line 249
Warning: Invalid argument supplied for foreach() in /usr/share/pear/PEAR/Command.php on line 249
Warning: Invalid argument supplied for foreach() in Command.php on line 249
Warning: Invalid argument supplied for foreach() in /usr/share/pear/PEAR/Command.php on line 249
Warning: Invalid argument supplied for foreach() in Command.php on line 249
Warning: Invalid argument supplied for foreach() in /usr/share/pear/PEAR/Command.php on line 249

阅读全文>>

标签: PHP linux pecl xdebug

评论(0) 浏览(9877)

MyISAM几个容易忽视的配置选项

2017-7-19 杜世伟 Mysql

MyISAM在读操作占主导的情况下是很高效的。可一旦出现大量的读写并发，同InnoDB相比，MyISAM的效率就会直线下降，而且，MyISAM和InnoDB的数据存储方式也有显著不同：通常，在MyISAM里，新数据会被附加到数据文件的结尾，可如果时常做一些 UPDATE，DELETE操作之后，数据文件就不再是连续的，形象一点来说，就是数据文件里出现了很多洞洞，此时再插入新数据时，按缺省设置会先看这些洞洞的大小是否可以容纳下新数据，如果可以，则直接把新数据保存到洞洞里，反之，则把新数据保存到数据文件的结尾。之所以这样做是为了减少数据文件的大小，降低文件碎片的产生。但InnoDB里则不是这样，在InnoDB里，由于主键是cluster的，所以，数据文件始终是按照主键排序的，如果使用自增ID做主键，则新数据始终是位于数据文件的结尾。
了解了这些基础知识，下面说说MyISAM几个容易忽视的配置选项：
concurrent_insert：
通常来说，在MyISAM里读写操作是串行的，但当对同一个表进行查询和插入操作时，为了降低锁竞争的频率，根据concurrent_insert的设置，MyISAM是可以并行处理查询和插入的：

阅读全文>>

标签: linux mysql

评论(0) 浏览(10088)

error: command 'gcc' failed with exit status 1

2017-5-1 杜世伟 Python

错误:error: command 'gcc' failed with exit status 1

在 centons 使用pip安装Python模块出现error: command 'gcc' failed with exit status 1 ，明明装了gcc的，怎么会不行呢，然后发觉是failed不是not found，这说明这个错误个gcc没多大关系，应该是缺少某些功能模块，然后谷歌了一下，先后安装了python-devel,libffi-devel后还是不行，最后发觉要安装openssl-devel才行

可如下命令行安装：

yum install gcc libffi-devel python-devel openssl-devel

阅读全文>>

标签: linux gcc python pip

评论(0) 浏览(17725)

ImportErrorNomodulenamedCrypto.Cipher问题解决方案

2017-4-24 杜世伟 Linux

今天在安装mycli命令行工具,运行mycli --help的时候出现以下问题
from Crypto import Random 问题

from Crypto.Cipher import AES 问题

在导入以上两条语句中，出现问题，显示出现无法找到crypto包，按照提示，
pip install Crypto 
pip install Crypto.Cipher
加入crypto包之后,然后还是出现这个问题。

问题解决参考以下链接：

http://stackoverflow.com/questions/19623267/importerror-no-module-named-crypto-cipher

阅读全文>>

标签: linux pip mycli crypto pycrypto

评论(0) 浏览(9940)

go 简介与安装

2017-4-24 杜世伟 go

Go 是一个开源的编程语言，它能让构造简单、可靠且高效的软件变得容易。

Go 语言特色
简洁、快速、安全
并行、有趣、开源
内存管理、v数组安全、编译迅速
Go 语言用途
Go 语言被设计成一门应用于搭载 Web 服务器，存储集群或类似用途的巨型中央服务器的系统编程语言。

对于高性能分布式系统领域而言，Go 语言无疑比大多数其它语言有着更高的开发效率。它提供了海量并行的支持，这对于游戏服务端的开发而言是再好不过了。

各种版本的下载地址:
https://golang.org/dl/

Go环境安装:
1、wget方式下载并解压
wget https://dl.google.com/go/go1.9.3.linux-amd64.tar.gz
sudo tar -xzf go1.9.3.linux-amd64.tar.gz -C /usr/local/lib
2、添加配置

阅读全文>>

标签: linux centos go export

评论(0) 浏览(5621)

Python之Requests模块使用详解

2017-1-17 杜世伟 Python

     Requests模块是一个用于网络访问的模块，其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能，那为什么Requests模块就能够脱引而出呢？可以打开它的官网看一下，是一个“人类“用的http模块。那么，它究竟怎样的人性化呢？相信如果你之前用过urllib之类的模块的话，对比下就会发现它确实很人性化。
一、导入

下载完成后，导入模块很简单，代码如下：

import requests
二、请求url

这里我们列出最常见的发送get或者post请求的语法。
1.发送无参数的get请求：
r=requests.get("http://pythontab.com/justTest")
现在，我们得到了一个响应对象r，我们可以利用这个对象得到我们想要的任何信息。
上面的例子中，get请求没有任何参数，那如果请求需要参数怎么办呢？


阅读全文>>

标签: linux python request

评论(0) 浏览(13835)

ELK+Filebeat 集中式日志解决方案详解

2016-12-27 杜世伟 Linux

ELK Stack 简介

ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。

  • Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能；
  • Logstash：数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；
  • Kibana：数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示；
  • Filebeat：ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，基于 Logstash-Forwarder 源代码开发，是对它的替代。在需要采集日志数据的 server 上安装 Filebeat，并指定日志目录或日志文件后，Filebeat 就能读取数据，迅速发送到 Logstash 进行解析，亦或直接发送到 Elasticsearch 进行集中式存储和分析。

阅读全文>>

标签: linux Kibana Logstash Elasticsearch stack elk Filebeat

评论(0) 浏览(9790)

shell中>/dev/null 2>&1是什么鬼？

2016-11-8 杜世伟 Linux

背景
我们经常能在shell脚本中发现>/dev/null 2>&1这样的语句。以前的我并没有去深入地理解这段命令的作用，照搬照用，直到上周我将这段命令不小心写成了2>&1 >/dev/null，出了一点小问题之后，我才开始去了解这段命令背后的“玄机”。

shell重定向介绍
就像我们平时写的程序一样，一段程序会处理外部的输入，然后将运算结果输出到指定的位置。在交互式的程序中，输入来自用户的键盘和鼠标，结果输出到用户的屏幕，甚至播放设备中。而对于某些后台运行的程序，输入可能来自于外部的一些文件，运算的结果通常又写到其他的文件中。而且程序在运行的过程中，会有一些关键性的信息，比如异常堆栈，外部接口调用情况等，这些都会统统写到日志文件里。

shell脚本也一样，但是我们一般在使用shell命令的时候，更多地还是通过键盘输入，然后在屏幕上查看命令的执行结果。如果某些情况下，我们需要将shell命令的执行结果存储到文件中，那么我们就需要使用输入输出的重定向功能。

文件描述符
当执行shell命令时，会默认打开3个文件，每个文件有对应的文件描述符来方便我们使用：

阅读全文>>

标签: linux shell dev

评论(0) 浏览(9754)

linux 内存清理/释放命令

2016-10-11 杜世伟 Linux

在Linux系统下，我们一般不需要去释放内存，因为系统已经将内存管理的很好。但是凡事也有例外，有的时候内存会被缓存占用掉，导致系统使用SWAP空间影响性能，此时就需要执行释放内存（清理缓存）的操作了。

Linux系统的缓存机制是相当先进的，他会针对dentry（用于VFS，加速文件路径名到inode的转换）、Buffer Cache（针对磁盘块的读写）和Page Cache（针对文件inode的读写）进行缓存操作。但是在进行了大量文件操作之后，缓存会把内存资源基本用光。但实际上我们文件操作已经完成，这部分缓存已经用不到了。这个时候，我们难道只能眼睁睁的看着缓存把内存空间占据掉么？

所以，我们还是有必要来手动进行Linux下释放内存的操作，其实也就是释放缓存的操作了。

要达到释放缓存的目的，我们首先需要了解下关键的配置文件/proc/sys/vm/drop_caches。这个文件中记录了缓存释放的参数，默认值为0，也就是不释放缓存。他的值可以为0~3之间的任意数字，代表着不同的含义：

0 – 不释放
1 – 释放页缓存
2 – 释放dentries和inodes
3 – 释放所有缓存

知道了参数后，我们就可以根据我们的需要，使用下面的指令来进行操作。

首先我们需要使用sync指令，将所有未写的系统缓冲区写到磁盘中，包含已修改的 i-node、已延迟的块 I/O 和读写映射文件。否则在释放缓存的过程中，可能会丢失未保存的文件。

阅读全文>>

标签: linux cache Buffer

评论(0) 浏览(1870)

Powered by emlog 沪ICP备2023034538号-1