当然，朋友，搜索引擎蜘蛛爬行导致服务器卡死，另一方面也证明了你的服务器不太适应现在发现需要，可能更现实的解决方法是更换网站服务器。在服务器根目录，新建一个robotstxt文件，里面添加自己不想让蜘蛛爬取的目录：
写法
1如果你站点中的所有文件，都可以让蜘蛛爬取、收录的话，那么语法这样写:
User-agent: Disallow:当然，如果你网站中全部的文件都可以让搜索引擎索引的话，你也可以不管这个文件。
2完全禁止搜索引擎来访的Robotstxt文件写法:
User-agent:
Disallow: /
21要禁止掉某个搜索引擎来访的Robotstxt文件写法:
User-agent: Googlebot
Disallow: /
3网站中某个文件夹不希望让搜索引擎收录的Robotstxt文件写法:
User-agent:
Disallow: /admin/
Disallow: /images/
4禁止Google抓取网站中的文件:
User-agent: Googlebot一般的网站是没有这个设置的，查看网站的robotstxt文件就可以了。
淘宝的就是全面屏蔽百度的。
--------------------
一般服务器不能，只有在网站里面设置才可以的。再说这样的服务器谁要啊。学习主要内容：1、红蜘蛛常见故障及解决方法；
2、 运维工作内容，职责；
3、物理服务器型号及各核心零部件的学习
4、云服务器
一、红蜘蛛常见故障及解决方法流程
11：故障1：无法看到红蜘蛛共享界面
111：解决方法1：修改网络端口
1111：流程:everything(搜索)->输入adapterexe->双击进入网络端口界面->选择合适的网络端口点击现在设置即可
112：解决方法二：其他激活软件导致， 激活office(word )
12：红蜘蛛故障2：红蜘蛛窗口置顶
121：解决方法一：关闭红蜘蛛，让其自动重启
122;解决方法二：右键红蜘蛛窗口里面单击-> 选择"显示工具条"->屏幕黑屏过一会之后正常；若一直黑,关闭红蜘蛛让其自动开启
红蜘蛛排错视频
二、运维核心工作：
三、服务器
31服务器基础：
311：服务器尺寸：U（unit） 1U=445cm
312:作用及特点：
32：服务器按外形分类
321 机架式服务器 （常用）
322 刀片服务器
323 塔式服务器-更强壮的计算机
例如：42U机柜(限制电流)
1U服务器 20台 2U 15-16台
324：DELL服务器型号命名规则:
R740 ：R->指机架式；
7->与CPU颗数有关，7表示2颗
4->表示第14带服务器
0->表示生产商为Inter
四、服务器核心零部件：
41：电源：生产中一般单个服务器核心业务最好使用双电源AB线路。
42：CPU处理器：服务器的CPU相当于人体的大脑，负责计算机运算和控制，是服务器性能效率最核心的部件。
421：CPU颗数和路数关系：颗数即为路数，2颗也可以说成2路
422：CPU颗数和核心的关系：下图表示两路CPU，每路CPU四个核心
423：核心与线程关系：
通常一个核心在同一时间只能做一件事；Inter超线程技术可以实现一个核心做两件事。
一般的企业里的服务器，CPU个（颗）数2,4颗，单个（颗）CPU是四或六核。内存总量一般是16-256G(32G,64G)。
做虚拟化的宿主机（eg:安装vmware（虚拟化软件）的主机），CPU颗数4-8颗，内存总量一般是48-128G，6-10个虚拟机。
43：内存：内存是电脑的一个临时储存器，CPU和磁盘之间的缓冲设备，
他负责电脑数据中转而不能永久保存。
431：作用：内存是CPU能够直接访问的储存器，CPU从内存中读取 *** 作指令和数据，又把运算或处理结果送回内存。
432：程序、进程、守护进程的区别：
433：如何提高用户体验（提升网站打开速度）
4331： 门户（大网站 ）极端案例：高并发写入案例（抢红包、微博）
4332：中小型网站 访问量少
4333：如何防止数据不丢、IDC机房(数据中心)(不断电)
4334：buffer与cache 区别
44、磁盘：磁盘就是永久存放数据的存储器，磁盘上也是有缓存的（芯片）。
441：磁盘接口：SAS(企业) SATA(家)
服务器使用磁盘接口
45:Raid卡（阵列卡）：磁盘阵列 统一管理磁盘的方法
451：特点 功能:
最少硬盘数 容量 性能 冗余
RAID 0 1块 容量总和 最快的 坏一块数据便丢失了
RAID 1 （镜像） 只能2块 总和的一半 写入慢 100% 坏1半
46：远程控制卡：
我们平时控制服务器,远程连接xshell
服务器出现故障了,通过远程控制卡 *** 作(就相当于你跑机房 *** 作）
461：品牌
Dell 远程控制卡 iDrac
HP 远程控制卡 iLo
462：作用：开关服务器，并可以查看服务器开关的过程等信息。
47：光驱
471：功能：听歌、看碟、装软件、装系统等
48：云服务器：
481：云服务器图示
482：主要厂商:国内 阿里云 腾讯云 华为云（国企）
国外 AWS（亚马逊） 外企一、网络设置的问题 这种原因比较多出现在需要手动指定IP、网关、DNS服务器联网方式下，及使用代理服务器上网的。仔细检查计算机的网络设置。 二、DNS服务器的问题 当IE无法浏览网页时，可先尝试用IP地址来访问，如用 Bbswinzhengcom 的 ，如果可以访问，那么应该是DNS的问题，造成DNS的问题可能是连网时获取DNS出错或DNS服务器本身问题，这时你可以手动指定DNS服务（地址可以是你当地ISP提供的DNS服务器地址，也可以用其它地方可正常使用DNS服务器地址。）在网络的属性里进行，（控制面板—网络和拔号连接—本地连接—右键属性—TCP/IP协议—属性—使用下面的DNS服务器地址）。不同的ISP有不同的DNS地址。有时候则是路由器或网卡的问题，无法与ISP的DNS服务连接，这种情况的话，可把路由器关一会再开，或者重新设置路由器。还有一种可能，是本地DNS缓存出现了问题。为了提高网站访问速度，系统会自动将已经访问过并获取IP地址的网站存入本地的DNS缓存里，一旦再对这个网站进行访问，则不再通过DNS服务器而直接从本地DNS缓存取出该网站的IP地址进行访问。所以，如果本地DNS缓存出现了问题，会导致网站无法访问。可以在“运行”中执行ipconfig /flushdns来重建本地DNS缓存。 三、IE浏览器本身的问题 当IE浏览器本身出现故障时，自然会影响到浏览了；或者IE被恶意修改破坏也会导致无法浏览网页。这时可以尝试用“黄山IE修复专家”来修复（建议到安全模式下修复），或者重新IE（如重装IE遇到无法重新的问题，可参考：附一解决无法重装IE） 四、网络防火墙的问题 如果网络防火墙设置不当，如安全等级过高、不小心把IE放进了阻止访问列表、错误的防火墙策略等，可尝试检查策略、降低防火墙安全等级或直接关掉试试是否恢复正常。 五、网络协议和网卡驱动的问题 IE无法浏览，有可能是网络协议（特别是TCP/IP协议）或网卡驱动损坏导致，可尝试重新网卡驱动和网络协议。 六、HOSTS文件的问题 HOSTS文件被修改，也会导致浏览的不正常，解决方法当然是清空HOSTS文件里的内容。 七、系统文件的问题 当与IE有关的系统文件被更换或损坏时，会影响到IE正常的使用，这时可使用SFC命令修复一下，WIN98系统可在“运行”中执行SFC，然后执行扫描；WIN2000/XP/2003则在“运行”中执行sfc /scannow尝试修复。 其中当只有IE无法浏览网页，而QQ可以上时，则往往由于winsockdll、wsock32dll或wsockvxd（VXD只在WIN9X系统下存在）等文件损坏或丢失造成，Winsock是构成TCP/IP协议的重要组成部分，一般要重装TCP/IP协议。但xp开始集成TCP/IP协议，所以不能像98那样简单卸载后重装，可以使用 netsh 命令重置 TCP/IP协议，使其恢复到初次安装 *** 作系统时的状态。具体 *** 作如下： 点击“开始 运行”，在运行对话框中输入“CMD”命令，d出命令提示符窗口，接着输入“netsh int ip reset c:\resetlogtxt”命令后会回车即可，其中“resetlogtxt”文件是用来记录命令执行结果的日志文件，该参数选项必须指定，这里指定的日志文件的完整路径是“c:\resetlogtxt”。执行此命令后的结果与删除并重新安装 TCP/IP 协议的效果相同。 小提示：netsh命令是一个基于命令行的脚本编写工具，你可以使用此命令配置和监视Windows 系统，此外它还提供了交互式网络外壳程序接口，netsh命令的使用格式请参看帮助文件（在令提示符窗口中输入“netsh/”即可）。 第二个解决方法是修复以上文件，WIN9X使用SFC重新提取以上文件，WIN2000/XP/2003使用sfc /scannow命令修复文件,当用sfc /scannow无法修复时，可试试网上发布的专门针对这个问题的修复工具WinSockFix 八、杀毒软件的实时监控问题 这倒不是经常见，但有时的确跟实时监控有关，因为现在杀毒软件的实时监控都添加了对网页内容的监控。举一个实例：KV2005就会在个别的机子上会导致IE无法浏览网页（不少朋友遇到过），其具体表现是只要打开网页监控，一开机上网
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）