阿里云:

time1.aliyun.com
time2.aliyun.com
time3.aliyun.com
time4.aliyun.com
time5.aliyun.com
time6.aliyun.com
time7.aliyun.com
windows服务器,使用time.pool.aliyun.com

其它NTP服务器:

202.108.6.95,182.92.12.11,110.75.186.248,110.75.186.247,120.25.108.11,115.28.122.198

日前一台服务器被黑,被搞成了矿机,这里记录一下解决过程:

照例用htop查看一台服务器运行情况,发现了可疑进程,cpu占用700%之多,这台服务器基本上是闲置的,肯定不正常

可以看到进程名为minerd

首先看进程pid,查找进程占用文件

除了看到占用文件外,还看到一个实时的向外的TCP连接,首先禁止掉这个连接

剩下的就是一一揪出可疑的文件了

找到/lib/firmware/目录下存在yam文件夹

bin后缀名不正常,删掉

/home/目录下存在非正常可执行文件,名字就叫做minerd

拿到root权限后如果想要登录,一般是添加公钥了,查看.ssh目录

一切正常,不应该啊,回想起前几天进入.ssh目录发现一个可疑的文件,记录着一段公钥,编码不太正常,部分乱码,当时隐隐觉得有问题,但只是隐隐觉得,没多想随手删掉了,现在想想当时真机智,查看历史命令记录果真没记错

为防止再生查看crontab

果真发现了可疑任务,这段也是前几天查看crontab注释掉的,再次为自己的机智点赞。

然后killall minerd查看是否再生,两天了进程没有再现,由此得知服务器安全了。

事实上阿里云盾在侵入后已经提示了非法登陆,只不过谁没事登陆阿里云账号呢,其他人也没注意就过去了。

剩下的就是慢慢收尾了,查看一些配置文件是否被修改了。

看来入侵的人技术还不太高,若甩出个ssh后门,chattr锁定系统文件什么的就更麻烦了。

至于入侵,估计是Redis 未授权访问缺陷的原因,目前临时禁止redis的对外链接,下周优化下防火墙规则和redis安全。

[更新]

优化了一下防火墙规则,阿里云服务器有两个网卡,外网与内网各一个,针对不同网卡指定不同的规则,redis走外网也通过IP白名单,基本上安全了

[附]

修复 redis 的后门,

  1. 配置bind选项, 限定可以连接Redis服务器的IP, 并修改redis的默认端口6379.
  2. 配置AUTH, 设置密码, 密码会以明文方式保存在redis配置文件中.
  3. 配置rename-command CONFIG “RENAME_CONFIG”, 这样即使存在未授权访问, 也能够给攻击者使用config指令加大难度
  4. 好消息是Redis作者表示将会开发”real user”,区分普通用户和admin权限,普通用户将会被禁止运行某些命令,如conf

1、

keytool -genkey -alias tomcat -keyalg RSA

用户主目录生成.keystore
2、

<Connector port="8443" protocol="org.apache.coyote.http11.Http11NioProtocol" maxThreads="150" SSLEnabled="true" scheme="https" secure="true" keystoreFile="$path" keystorePass="$password" clientAuth="false" sslProtocol="TLS" 

3、设置http强制跳转https

	<login-config>  
		<!-- Authorization setting for SSL -->  
		<auth-method>CLIENT-CERT</auth-method>  
		<realm-name>Client Cert Users-only Area</realm-name>  
	</login-config>  

	<security-constraint>  
		<!-- Authorization setting for SSL -->  
		<web-resource-collection >  
			<web-resource-name >SSL</web-resource-name>  
			<url-pattern>/*</url-pattern>  
		</web-resource-collection>  
		<user-data-constraint>  
			<transport-guarantee>CONFIDENTIAL</transport-guarantee>  
		</user-data-constraint>  
	</security-constraint> 

转载:linux命令后台运行

linux实现后台运行有两种方式:

1. command & : 后台运行,你关掉终端会停止运行
2. nohup command & : 后台运行,你关掉终端也会继续运行

 

一、 简介
Linux/Unix 区别于微软平台最大的优点就是真正的多用户,多任务。因此在任务管理上也有别具特色的管理思想。
我们知道,在 Windows 上面,我们要么让一个程序作为服务在后台一直运行,要么停止这个服务。而不能让程序在前台后台之间切换。而 Linux 提供了 fg 和bg 命令,让你轻松调度正在运行的任务。假设你发现前台运行的一个程序需要很长的时间,但是需要干其他的事情,你就可以用 Ctrl-Z ,挂起这个程序,然后可以看到系统提示:
[1]+ Stopped /root/bin/rsync.sh
然后我们可以把程序调度到后台执行:(bg 后面的数字为作业号)
#bg 1
[1]+ /root/bin/rsync.sh &
用 jobs 命令查看正在运行的任务:
#jobs
[1]+ Running /root/bin/rsync.sh &
如果想把它调回到前台运行,可以用
#fg 1
/root/bin/rsync.sh
这样,你在控制台上就只能等待这个任务完成了。

& 将指令丢到后台中去执行
[ctrl]+z 將前台任务丟到后台中暂停
jobs 查看后台的工作状态
fg %jobnumber 将后台的任务拿到前台来处理
bg %jobnumber 将任务放到后台中去处理
kill 管理后台的任务

二、&

在Linux中,当在前台运行某个作业时,终端被该作业占据;而在后台运行作业时,它不会占据终端。可以使用&命令把作业放到后台执行。实际上,这样是将命令放入到一个作业队列中了:

$ ./test.sh &
[1] 17208

$ jobs -l
[1]+ 17208 Running                 ./test.sh &
在后台运行作业时要当心:需要用户交互的命令不要放在后台执行,因为这样你的机器就会在那里傻等。不过,作业在后台运行一样会将结果输出到屏幕上,干扰你的工作。如果放在后台运行的作业会产生大量的输出,最好使用下面的方法把它的输出重定向到某个文件中:
command >out.file 2>&1 &
在上面的例子中,2>&1表示所有的标准输出和错误输出都将被重定向到一个叫做out.file 的文件中。 当你成功地提交进程以后,就会显示出一个进程号,可以用它来监控该进程,或杀死它。
例:查找名为“httpd.conf”的文件,并把所有标准输出和错误输出重定向到find.dt的文件中:
# find /etc/httpd/ -name “httpd.conf” -print >find.dt 2>&1 &
[2] 7832
成功提交该命令之后,系统给出了它的进程号7832。 对于已经在前台执行的命令,也可以重新放到后台执行,首先按ctrl+z暂停已经运行的进程,然后使用bg命令将停止的作业放到后台运行,例如对正在前台执行的tesh.sh使用ctrl+z挂起它:
$ ./test.sh
[1]+ Stopped                 ./test.sh

$ bg %1
[1]+ ./test.sh &

$ jobs -l
[1]+ 22794 Running                 ./test.sh &

但是如上方到后台执行的进程,其父进程还是当前终端shell的进程,而一旦父进程退出,则会发送hangup信号给所有子进程,子进程收到hangup以后也会退出。如果我们要在退出shell的时候继续运行进程,则需要使用nohup忽略hangup信号,或者setsid将将父进程设为init进程(进程号为1)

$ echo $$
21734

$ nohup ./test.sh &
[1] 29016

$ ps -ef | grep test
515      29710 21734 0 11:47 pts/12   00:00:00 /bin/sh ./test.sh
515      29713 21734 0 11:47 pts/12   00:00:00 grep test
$ setsid ./test.sh &
[1] 409

$ ps -ef | grep test
515        410     1 0 11:49 ?        00:00:00 /bin/sh ./test.sh
515        413 21734 0 11:49 pts/12   00:00:00 grep test
上面的试验演示了使用nohup/setsid加上&使进程在后台运行,同时不受当前shell退出的影响。那么对于已经在后台运行的进程,该怎么办呢?可以使用disown命令:

$ ./test.sh &
[1] 2539

$ jobs -l
[1]+ 2539 Running                 ./test.sh &

$ disown -h %1

$ ps -ef | grep test
515        410     1 0 11:49 ?        00:00:00 /bin/sh ./test.sh
515       2542 21734 0 11:52 pts/12   00:00:00 grep test
另外还有一种方法,即使将进程在一个subshell中执行,其实这和setsid异曲同工。方法很简单,将命令用括号() 括起来即可:

$ (./test.sh &)

$ ps -ef | grep test
515        410     1 0 11:49 ?        00:00:00 /bin/sh ./test.sh
515      12483 21734 0 11:59 pts/12   00:00:00 grep test
注:本文试验环境为Red Hat Enterprise Linux AS release 4 (Nahant Update 5),shell为/bin/bash,不同的OS和shell可能命令有些不一样。例如AIX的ksh,没有disown,但是可以使用nohup -p PID来获得disown同样的效果。

还有一种更加强大的方式是使用screen,首先创建一个断开模式的虚拟终端,然后用-r选项重新连接这个虚拟终端,在其中执行的任何命令,都能达到nohup的效果,这在有多个命令需要在后台连续执行的时候比较方便:

$ screen -dmS screen_test

$ screen -list
There is a screen on:
27963.screen_test       (Detached)
1 Socket in /tmp/uscreens/S-jiangfeng.

$ screen -r screen_test

三、 nohup
    如果你正在运行一个进程,而且你觉得在退出帐户时该进程还不会结束,那么可以使用nohup命令。该命令可以在你退出帐户之后继续运行相应的进程。nohup就是不挂起的意思( no hang up)。 该命令的一般形式为:
nohup conmmand &
如果使用nohup命令提交作业,那么在缺省情况下该作业的所有输出都被重定向到一个名为nohup.out的文件中,除非另外指定了输出文件:
nohup command > myout.file 2>&1
在上面的例子中,输出被重定向到myout.file文件中。
四、.*,?,[…],[!…]等
下面就是这些特殊字符:
* 匹配文件名中的任何字符串,包括空字符串。
? 匹配文件名中的任何单个字符。
[…] 匹配[ ]中所包含的任何字符。
[!…] 匹配[ ]中非感叹号!之后的字符。
当s h e l l遇到上述字符时,就会把它们当作特殊字符,而不是文件名中的普通字符,这样用户就可以用它们来匹配相应的文件名。

1)列出以i或o开头的文件名:     #ls [io]*
2)列出log.开头、后面跟随一个数字、然后可以是任意字符串的文件名: #ls log.[0-9]*
3)与例二相反,列出log.开头、后面不跟随一个数字、然后可以是任意字符串的文件名 : #ls log.[!0-9]*
4)列出所有以LPS开头、中间可以是任何两个字符,最后以1结尾的文件名:#ls LPS??1
5)列出所有以大写字母开头的文件名:$ ls [A-Z]* 6)列出所有以. 开头的文件名(隐含文件,例如. profile、.rhosts、.histo ry等): $ ls .*

  • 其他相关命令:

jobs:查看当前有多少在后台运行的命令
fg:将后台中的命令调至前台继续运行。如果后台中有多个命令,可以用 fg %jobnumber将选中的命令调出,%jobnumber是通过jobs命令查到的后台正在执行的命令的序号(不是pid)
bg:将一个在后台暂停的命令,变成继续执行。如果后台中有多个命令,可以用bg %jobnumber将选中的命令调出,%jobnumber是通过jobs命令查到的后台正在执行的命令的序号(不是pid)

  • 杀死进程

杀死已经启动的程序和普通方式一样:

  • pkill -9 name
  • killall name
  • kill pid

日前感觉虚拟机太臃肿,于是删掉了CentOS和Ubuntu,重新构建,这次执行的是最小化安装,开始安装桌面时发现无论是Ubuntu还是CentOS,网络上相关的教程都是整套桌面环境(附带其它软件)的安装,很是不爽,这样就失去最小化安装的意义了,于是这里记录下最小化安装桌面的命令以备以后查看。

Ubuntu 16.04:

apt install unity
apt install --no-install-recommends ubuntu-desktop

或者

aptitude install --without-recommends ubuntu-desktop

注意 –no-install-recommends参数,否则的话会安装一系列其他的软件

如果安装系统的时候选择的是中文,进入桌面后会出现乱码,这时进入设置-语言支持会自动下载
或者使用命令

localectl set-locale LANG=zh_CN.UTF-8 && apt install language-pack-zh-hans

 

CentOS 7:


yum groupinstall "X Window System"
yum install gnome-desktop3 gnome-classic-session gnome-terminal nautilus-open-terminal control-center liberation-mono-fonts
yum groupinstall "fonts" #若gnome桌面中文乱码,执行此命令
unlink /etc/systemd/system/default.target
ln -sf /lib/systemd/system/graphical.target /etc/systemd/system/default.target

du -h --max-depth=1 | sort -h -k1

第一部分

1 sort的工作原理

sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。

[zookeeper@master rh]$ cat seq.txt
banana
apple
pear
orange
pear
[zookeeper@master rh]$ sort seq.txt 
apple
banana
orange
pear
pear

2 sort的-u选项

它的作用很简单,就是在输出行中去除重复行。

[zookeeper@master rh]$ sort -u seq.txt 
apple
banana
orange
pear

pear由于重复被-u选项无情的删除了。

3 sort的-r选项

[zookeeper@master rh]$ cat number.txt 1 3 5 7 11 2 4 6 10 8 9 [zookeeper@master rh]$ sort number.txt  –sort默认的排序方式是升序 1 10 11 2 3 4 5 6 7 8 9 [zookeeper@master rh]$ sort -n number.txt      –排序程序将这些数字按字符来排序了,排序程序会先比较1和2,显然1小,所以就将10放在2前面 1 2 3 4 5 6 7 8 9 10 11 [zookeeper@master rh]$ sort -n -r number.txt     –r表示降序,n表示按数字进行排序 11 10 9 8 7 6 5 4 3 2 1
4 sort的-o选项

由于sort默认是把结果输出到标准输出,所以需要用重定向才能将结果写入文件,形如sort filename > newfile。

但是,如果你想把排序结果输出到原文件中,用重定向可就不行了。

[zookeeper@master rh]$ sort -n -r number.txt > number.txt
[zookeeper@master rh]$ cat number.txt 
[zookeeper@master rh]$

number清空了。所以我们需要使用-o选项,它成功的解决了这个问题,让你放心的将结果写入原文件。这或许也是-o比重定向的唯一优势所在。

[zookeeper@master rh]$ sort -n -r number.txt -o number.txt [zookeeper@master rh]$ cat number.txt 11 10 9 8 7 6 5 4 3 2 1
5 sort的-t选项和-k选项
[zookeeper@master rh]$ cat facebook.txt banana:30:5.5 apple:10:2.5 pear:90:2.3 orange:20:3.4 [zookeeper@master rh]$ sort -n -k 2 -t : facebook.txt apple:10:2.5 orange:20:3.4 banana:30:5.5 pear:90:2.3
这个文件有三列,列与列之间用冒号隔开了,第一列表示水果类型,第二列表示水果数量,第三列表示水果价格。那么我想以水果数量来排序,也就是以第二列来排序,如何利用sort实现?幸好,sort提供了-t选项,后面可以设定间隔符。(是不是想起了cut和paste的-d选项,共鸣~~)

指定了间隔符之后,就可以用-k来指定列数了。我们使用冒号作为间隔符,并针对第二列来进行数值升序排序,结果很令人满意。

6 其他的sort常用选项

-f会将小写字母都转换为大写字母来进行比较,亦即忽略大小写

-c会检查文件是否已排好序,如果乱序,则输出第一个乱序的行的相关信息,最后返回1

-C会检查文件是否已排好序,如果乱序,不输出内容,仅返回1

-M会以月份来排序,比如JAN小于FEB等等

-b会忽略每一行前面的所有空白部分,从第一个可见字符开始比较。

第二部分:

有时候学习脚本,你会发现sort命令后面跟了一堆类似-k1,2,或者-k1.2 -k3.4的东东,有些匪夷所思。今天,我们就来搞定它—-k选项!

1 准备素材

[root@FDMdevBI opt]# cat testsort.txt 
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

第一个域是公司名称,第二个域是公司人数,第三个域是员工平均工资。(除了公司名称,其他的别信,都瞎写的^_^)

2 我想让这个文件按公司的字母顺序排序,也就是按第一个域进行排序:(这个facebook.txt文件有三个域)

[root@FDMdevBI opt]# sort -t ' ' -k 1 testsort.txt 
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

看到了吧,就直接用-k 1设定就可以了。(其实此处并不严格,稍后你就会知道)

3 我想让facebook.txt按照公司人数排序

[root@FDMdevBI opt]# sort -n -t ' ' -k 2 testsort.txt 
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

但是,此处出现了问题,那就是baidu和sohu的公司人数相同,都是100人,这个时候怎么办呢?按照默认规矩,是从第一个域开始进行升序排序,因此baidu排在了sohu前面。

4  我想让facebook.txt按照公司人数排序 ,人数相同的按照员工平均工资升序排序:

[root@FDMdevBI opt]# sort -n -t ' ' -k2 -k3 testsort.txt 
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

看,我们加了一个-k2 -k3就解决了问题。对滴,sort支持这种设定,就是说设定域排序的优先级,先以第2个域进行排序,如果相同,再以第3个域进行排序。(如果你愿意,可以一直这么写下去,设定很多个排序优先级)

5 我想让facebook.txt按照员工工资降序排序,如果员工人数相同的,则按照公司人数升序排序:(这个有点难度喽)

[root@FDMdevBI opt]# sort -n -t ' ' -k3r -k2 testsort.txt 
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

此处有使用了一些小技巧,你仔细看看,在-k 3后面偷偷加上了一个小写字母r。你想想,再结合我们上一篇文章,能得到答案么?揭晓:r和-r选项的作用是一样的,就是表示逆序。因为sort默认是按照升序排序的,所以此处需要加上r表示第三个域(员工平均工资)是按照降序排序。此处你还可以加上n,就表示对这个域进行排序时,要按照数值大小进行排序,举个例子吧:

[root@FDMdevBI opt]# sort -t ' ' -k3rn -k2n testsort.txt 
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

看,我们去掉了最前面的-n选项,而是将它加入到了每一个-k选项中了。

6 -k选项的具体语法格式

要继续往下深入的话,就不得不来点理论知识。你需要了解-k选项的语法格式,如下:

[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]

这个语法格式可以被其中的逗号(“,”)分为两大部分,Start部分和End部分。

先给你灌输一个思想,那就是“如果不设定End部分,那么就认为End被设定为行尾”。这个概念很重要的,但往往你不会重视它。

Start部分也由三部分组成,其中的Modifier部分就是我们之前说过的类似n和r的选项部分。我们重点说说Start部分的FStart和C.Start。

C.Start也是可以省略的,省略的话就表示从本域的开头部分开始。之前例子中的-k 2和-k 3就是省略了C.Start的例子喽。

FStart.CStart,其中FStart就是表示使用的域,而CStart则表示在FStart域中从第几个字符开始算“排序首字符”。

同理,在End部分中,你可以设定FEnd.CEnd,如果你省略.CEnd,则表示结尾到“域尾”,即本域的最后一个字符。或者,如果你将CEnd设定为0(零),也是表示结尾到“域尾”。

7 突发奇想,从公司英文名称的第二个字母开始进行排序:

[root@FDMdevBI opt]# sort -t ‘ ‘ -k1.2 testsort.txt baidu 100 5000 sohu 100 4500 google 110 5000 guge 50 3000 [root@FDMdevBI opt]# sort -t ‘ ‘ -k1.3 testsort.txt guge 50 3000 sohu 100 4500 baidu 100 5000 google 110 5000
看,我们使用了-k 1.2,这就表示对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。你会发现baidu因为第二个字母是a而名列榜首。sohu和 google第二个字符都是o,但sohu的h在google的o前面,所以两者分别排在第二和第三。guge只能屈居第四了。

8 又突发奇想,,只针对公司英文名称的第二个字母进行排序,如果相同的按照员工工资进行降序排序:

[root@FDMdevBI opt]# sort -t ' ' -k1.2,1.2 -k3,3nr testsort.txt 
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

由于只对第二个字母进行排序,所以我们使用了-k 1.2,1.2的表示方式,表示我们“只”对第二个字母进行排序。(如果你问“我使用-k 1.2怎么不行?”,当然不行,因为你省略了End部分,这就意味着你将对从第二个字母起到本域最后一个字符为止的字符串进行排序)。对于员工工资进行排 序,我们也使用了-k 3,3,这是最准确的表述,表示我们“只”对本域进行排序,因为如果你省略了后面的3,就变成了我们“对第3个域开始到最后一个域位置的内容进行排序” 了。

9 在modifier部分还可以用到哪些选项?

可以用到b、d、f、i、n 或 r。

其中n和r你肯定已经很熟悉了。

b表示忽略本域的签到空白符号。

d表示对本域按照字典顺序排序(即,只考虑空白和字母)。

f表示对本域忽略大小写进行排序。

i表示忽略“不可打印字符”,只针对可打印字符进行排序。(有些ASCII就是不可打印字符,比如\a是报警,\b是退格,\n是换行,\r是回车等等)

10 思考思考关于-k和-u联合使用的例子:

[root@FDMdevBI opt]# cat testsort.txt google 110 5000 baidu 100 5000 guge 50 3000 sohu 100 4500 [root@FDMdevBI opt]# sort -n -k2 testsort.txt guge 50 3000 baidu 100 5000 sohu 100 4500 google 110 5000 [root@FDMdevBI opt]# sort -n -k2 -u testsort.txt guge 50 3000 baidu 100 5000 google 110 5000
当设定以公司员工域进行数值排序,然后加-u后,sohu一行就被删除了!原来-u只识别用-k设定的域,发现相同,就将后续相同的行都删除。
[root@FDMdevBI opt]# sort -k1 -u testsort.txt baidu 100 5000 google 110 5000 guge 50 3000 sohu 100 4500 [root@FDMdevBI opt]# sort -k1.1,1.1 -u testsort.txt baidu 100 5000 google 110 5000 sohu 100 4500
这个例子也同理,开头字符是g的guge就没有幸免于难。
[root@FDMdevBI opt]# sort -n -k2 -k3 -u testsort.txt 
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

咦!这里设置了两层排序优先级的情况下,使用-u就没有删除任何行。原来-u是会权衡所有-k选项,将都相同的才会删除,只要其中有一级不同都不会轻易删除的:)(不信,你可以自己加一行sina 100 4500试试看)

11 最诡异的排序:

[root@FDMdevBI opt]# sort -n -k2.2,3.1 testsort.txt 
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

以第二个域的第二个字符开始到第三个域的第一个字符结束的部分进行排序。

第一行,会提取0 3,第二行提取00 5,第三行提取00 4,第四行提取10 5。

又因为sort认为0小于00小于000小于0000….

因此0 3肯定是在第一个。10 5肯定是在最后一个。但为什么00 5却在00 4前面呢?(你可以自己做实验思考一下。)

答案揭晓:原来“跨域的设定是个假象”,sort只会比较第二个域的第二个字符到第二个域的最后一个字符的部分,而不会把第三个域的开头字符纳入比较范围。当发现00和00相同时,sort就会自动比较第一个域去了。当然baidu在sohu前面了。用一个范例即可证实:

[root@FDMdevBI opt]# sort -n -k2.2,3.1 -k1,1r testsort.txt 
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

12 有时候在sort命令后会看到+1 -2这些符号,这是什么东东?

关于这种语法,最新的sort是这么进行解释的:

On older systems, `sort’ supports an obsolete origin-zero syntax `+POS1 [-POS2]‘ for specifying sort keys.  POSIX 1003.1-2001 (*note Standards conformance::) does not allow this; use `-k’ instead.

原来,这种古老的表示方式已经被淘汰了,以后可以理直气壮的鄙视使用这种表示方法的脚本喽!

(为了防止古老脚本的存在,在这再说一下这种表示方法,加号表示Start部分,减号表示End部分。最最重要的一点是,这种方式方法是从0开始计数的,以前所说的第一个域,在此被表示为第0个域。以前的第2个字符,在此表示为第1个字符。明白?)

原链接:http://www.cnblogs.com/longjshz/p/5794590.html

前前后后折腾了近两个月,最终自用服务器也搭建好了,实际上真正搭建也就两三个晚上的时间,更多的是搭建前各种方案的思考与选择,过程曲折真的多说是泪,上一次与此相关的帖子还是一个月前,当时就是在构思阶段,还在考虑服务器该使用什么系统,RAID的考虑等等。实际上距服务器搭建好过去得有半个多月了,当时想以后一定要好好记下来这个过程,没想到搭建完后人就颓废了一阵,懒癌又范了。

关于硬件,最开始的想法很简单,购置一台PC主机,将主板、CPU、内存换上,换下来的正好又是一台PC主机,这台闲置的PC主机正好可以用作NAS,抛去软件的方面,开始的设想很简单。至于软件方面倒是很纠结,开始考虑直接安装黑群晖,后来想到E3-1230 V2+16GB单纯做一个NAS有些浪费,不如上虚拟化,虽说黑群晖也可以安装虚拟机软件但是黑群晖一旦出问题所有数据连带虚拟机全部损毁,要上虚拟化干脆直接上ESXI。

这时脑中的软件方案是ESXI+黑群晖。

存储方案的考虑:因为新购入的主机只有一块128GB的M.2SSD,这块Z77板子没有M.2接口,所以这块固态硬盘装ESXI的念头被打消掉了,大奶机上128GB SSD+2.5寸1TB机械+3.5寸1TB机械,2.5寸硬盘存的是歌曲、MV、电影、动漫、图片等资源,3.5寸硬盘装的是软件和虚拟机,两款硬盘给NAS,(最初想上RAID5,因为ESXI不支持intel主板的RAID,还需要一块阵列卡,可以延后),现在的情况是是先让服务器运行起来,于是其中一块用作存放ESXI的系统以及虚拟机,虽说1TB有些浪费但也是没有办法的事情。

购置的主机到了那天正好周末,将预先下载好的esxi写入U盘,开始安装,安装过程提卡住,提示找不到网卡,网上一搜说ESXI5.5开始不再支持realtek 网卡驱动,网上找到从esxi5.0中提取的realtek8169的驱动,加载进esxi的安装镜像,再写入U盘,重新安装,又提示此驱动不再支持,最终又找到了一款别人修改的驱动,重新加载,写入U盘,安装,没有问题,顺利启动。

开始安装黑群晖,因为黑群晖和ESXI都在虚拟机上试运行过,安装过程都比较熟悉。安装好后开始迁移硬盘里的数据,因为黑群晖用的是自己的一套文件系统,直接挂载硬盘及必将被重新分区,所以为了保留数据,先在ESXI里新建一个ubuntu的虚拟机,并划分出750GB的空间给UBUNTU,ubuntu同时挂载2.5寸硬盘,将此硬盘数据copy到划分出来的750GB分区,然后将2.5寸硬盘格式化挂载到黑群晖,再通过NFS或者SAMBA的共享方式读取ubuntu的数据保存到2.5寸的硬盘里,已达到数据的完美迁移,哪成想ubuntu的750GB分区划小了,放不下2.5寸硬盘里的数据,于是关闭ubuntu重新调整分区大小,再开机时ubuntu起不来了,什么鬼,只得重建Ubuntu系统,可是再次开机后2.5寸硬盘却挂载不上了,隐隐约约感觉出问题了,拿到大奶机上一看,擦,整个分区表都被损坏了,沃日,800个GB的数据全部完蛋,我整个大学时期攒下的东西啊,当时是凌晨两点精神有些涣散,否则搁平时我早就炸了,当时倒是很平静,于是就睡下了。

第二天醒来后考虑了下,其实云盘里有备份的全部歌曲与图片,还有部分视频,数据丢了就丢了,其他的资源以后慢慢重建吧。(其实当时也有办法恢复的,但是却没有多余的硬盘存放恢复后的数据,悲催啊)。打开服务器,开机后却发现怎么也连不上了,又是诡异的问题,思考良久认为是网卡驱动的问题,网上重新找驱动,又将ESXI重新安装了一遍,然后安装黑群晖(其实是黑群晖的引导),由于黑群晖本身的设计,每个分区都有备份,所以引导安装后黑群晖还保留之前的数据。

E3-1230 v2没有集成核显,一直是使用的大奶机上的独显,用作NAS没有一个省电的显卡是不行的,网上入手一块亮机卡,是A卡,其实A卡、N卡都可以,至于为什么是A卡,因为A卡可直通,为了以后可能用到的直通(虽然几率很小)。

本来自用的服务器到这部已经基本上完工了,但是我又开始做死了,想来想去就算是亮机卡也终归是独立显卡,还是不如核显省电,于是一个弱智的决定就这样被做出了——换CPU,然后就淘宝入了一个E3-1245 v2,原先那块E3-1230 v2扔闲鱼卖了,哪成想CPU到手后主板却坏了,我又日,一万头草泥马啊,没办法换主板吧。

既然换主板的话,干脆一点,直接上服务器板子好了,省的以后又出现这样那样活见鬼的问题,换吧,淘宝看中一块4网卡的板子,卖家表示不好意思没了,亏钱给我换了一块双网卡的板子ASUS P8B-C/SAS/2L,这块板子带一个SAS控制器(下面会说到)。这服务器板子只支持ECC内存,于是我又把内存卖了,换成了两条8GB 1600的ECC内存。

这下好了,原本是打算换个CPU,结果里里外外都换了。

煎熬了几天,终于等到快递都到了,装上后发现又连接不上服务器了,又重新安装了一边ESXI,还是连不上,最后换了个网口解决问题。

这是我又开始考虑NAS系统的问题了,黑群晖是一套自己的文件系统,意味着一旦出现问题数据找回来的可能性几乎为零,我为什么还要坚持用群晖呢,而且就我断断续续用的这几天里就出现了黑群晖突然不能启动的问题,虽说重新安装引导解决了,但是一旦是数据盘出现问题依旧是死翘翘,思忖良久决定不用黑群晖了,用linux的话其他都好说,下载却是个问题,国内的环境其它下载工具都不行,国外的下载软件更是水土不服,只有迅雷了,然而迅雷没有linux版。

最终选择了Windows server 2012,windows下数据恢复软件一大把,硬盘数据损毁也能最大限度的救回来,而且是可以使用迅雷下载,主板集成的SAS若能刷成IT模式最好了,还可以查看硬盘S.M.A.R.T信息,在硬盘出现问题之前换掉就可以了,可用性大大的高,至于为什么是2012的版本,是因为SAS的驱动最新的只有2012版,当然使用系统集成的驱动也可以。

然后就是SAS刷成IT模式了,因为是主板集成的SAS控制器,网上更多的是LSI的阵列卡刷成IT模式,却几乎没有主板集成的SAS控制器刷成IT模式的例子,google半天也没找到,将LSI 9211-8i的英文官方文档看了许久,心想刷坏了就直接上块HBA卡或者阵列卡算了,果然,作死是有回报的,最终成功刷成了IT模式,虽然过程有些曲折但结局很完美,我很满意,我想我应该是第一个将ASUS P8B-C/SAS/2L的集成SAS控制器刷成IT模式的人了。

装上了Windows Server 2012,SAS控制器也刷成了IT模式,然后将黑群晖的数据导入到Windows Server 2012 ,过程与之前类似,机械硬盘通过直通连到SAS控制器的接口上,完美运行。

后来又装上了Ubuntu 16.04、CentOS、Win7三个系统。

这就是最终成型的自用服务器了,总的来说这台服务器实现了我最初的全部目标。

然后就讲讲遇到的问题吧,解决的和未解决的:

1、路由器之用的是极壹S,LAN口只支持百兆,百兆就意味着我从NAS拷数据只有10MB的速度,还不如直接从外网下,毕竟外网用的也是百兆,路由器肯定是要换的;

2、这块板子不知道为什么没有核显的选项,按照主板说明书改跳线为核显后却不能启动,奇怪,不过主板也集成了显卡,所以也就不影响使用,当然有核显启动了也可以玩玩显卡直通了,毕竟英特尔核显的视频编码是打了鸡血的;

3、还是这块板子,明明是1600的频率,却不知道为什么只运行在1333频率下,而且又因为是服务器板子,不能手动调整;

4、叒是这块板子,有一个网卡不知道为什么不能用,插上网线后LED灯也会闪,感觉不是像硬件的问题,难道是ESXI的兼容性的问题?这样一来就不能直接用主板的网卡链路聚合进而实现带宽的双倍提升了。

++++++++++++++++++++更新++++++++++++++++++++
机械硬盘带多个虚拟机真是够了,IOPS严重不足,1T的机械硬盘之用来存放运行VM也是浪费,换了一块SSD,磁盘IOPS问题解决了,顺便1TB的机械硬盘给了NAS,通过不同的盘放不同的文件尽量减少了单个盘读取多个文件的情况,降低单个硬盘的负载。
目前不打算组RAID,RAID1太浪费硬盘,RAID0不安全,RAID5恢复时也容易接连挂盘,所以暂时也没有组链路聚合的打算。