平台上问大家能采集最近多少条的数据

100到500条的记录。
网络数据采集平台，这种数据采集平台一般都是通过爬虫去采集的，在服务器上搭建一个对目标网站集进行爬取的爬虫，然后将每天爬取到的数据进行清洗整理，一般会采集100到500条的记录。

标签（空格分隔）： 数据挖掘 数据分析 数据采集

完整的网站数据工作机制包括 数据采集、数据处理和数据报告 三个部分。

数据采集分两层：
1、第一层是通过特定页面或Activity标记实现在线数据采集，在线数据是网站数据的 核心组成 ；
2、第二层是通过外部系统或手动形式导入的外部数据源， 外部数据源是在线数据的拓展 。
在线数据采集根据平台可分为Web站、WAP站和APP站。Web站及以HTML 5开发的WAP站都支持JS脚本采集；较早开发的不支持JS的WAP站则采用NoScript,即一个像素的硬实现数据跟踪；SDK是针对APP进行数据采集的特定方法和框架。这三种方法可以实现目前所有线上数据采集的需求。

这种客户端-服务器的数据采集方法适用于大多数的数据采集需求，但在这种采集方法的前期页面标记需要在用户客户端触发才能实现，如果数据不是通过用户客户端触发，在网站外部则无法收集（比如说支付宝的支付页面）。

由于数据经历了从网站服务器->用户客户端->采集服务器三个节点，从网站服务器到用户客户端的过程可能会有数据丢失的情况，尤其在订单结算等核心信息中，这种客户端-服务器的采集方法可靠性较小。

（注意：不管采用何种采集方法，任何网站分析系统的数据都不可能与企业内部数据系统中的数据完全一致，对网站分析系统中数据准确性的要求是数据误差与企业数据系统误差率较小（通常在5%以下）且数据误差率稳定。）

针对上述情况，某些网站分析系统如Webtrekk支持Server to Server（S-S，网站服务器对采集服务器）的方法进行在线数据采集，避免数据在客户端的中转流失。

所有在线数据采集都会受到采集规则的制约，比如排除特定IP地址的流量、只采集某个域名下的数据等。数据采集规则是数据采集的重要控制节点，如果出现某些排除、隐藏或直接忽视数据的采集规则，将可能导致数据丢失。

（ 不明白为什么SAAS网站分析系统都不能处理历史数据，这意味着如果在数据采集阶段出现数据丢失将会产生无法挽回的后果，建议原始初级采集阶段不设定任何排除规则；如果数据中可能含有大量的内部测试数据，测试环境与生产环境应分账号采集 ）

外部数据接入与在线数据采集是异步进行的。外部接入数据进入网站分析系统后，根据数据处理层的处理规则，在经过数据抽取、加载、转换之后，与在线采集数据整合形成完整的数据源。

外部接入数据的工作流程如下，原始的外部数据（文档、服务器日志、在线其他系统数据、离线数据）通过自动或人工整理形成符合特定规范的数据文件或带制表符分隔的数据文档，然后根据接入机制的不同完成数据的整合工作。

原始的外部数据（文档、服务器日志、在线其他系统数据、离线数据）通过自动或人工整理形成符合特定规范的数据文件或带制表符分隔的数据文档，然后根据接入机制的不同完成数据的整合工作。

（考虑到IT人力、物力和时间投入等因素考虑，通过FTP导入数据的方式更易于实现。前期可以考虑使用FTP自动上传的机制，待数据需求稳定切业务实现思路无误后再通过技术手段开发API。）

无线远传水表 的安装方便，不用施工等特点，越来越多的供水公司开始采购无线远传水表，但是你知道吗无线远传水表是如何进行采集传输的吗，什么种方式比较好？

一无线远传水表的概述

目前，市面上的无线远传水表最火的便是物联网电子远传水表了，其中又分为NB-IoT电子远传水表、lora电子远传水表。首先，先了解nb-iot电子远传水表，以益都电子远传水表（无磁/NB-IoT）为例。
ZSL-YC型电子远传水表（NB-IoT）是益都智能技术（北京）股份有限公司根据市场需求自主研发的一款基于NB通讯技术的新型智能仪表。水流入水表后，沿叶轮盒底部进水孔进入计量机构，推动叶轮旋转，并由叶轮盒上部出水孔流出，叶轮转速与水的流量成正比，叶轮转动经减速齿轮传递给指示机构记录出流经水表的使用水总量。记录的用水量数据通过NB-IoT无线网络接入技术可以与管理中心通信，进行无线抄表、网络充值、远程控制、故障检测等功能。

二无线电子远传水表的数据如何采集传输

电子远传水表通过给计量基表加装远传发讯模块，接收无线抄表主机发出的抄表指令，由无线通讯模块将水表数据上传到服务器以完成抄表。电子远传水表NB-IoT由无线通讯模块和基表组成，具有计量、运算、存储、诊断、无线远传等功能。

三无线远传水表的特点

安装极为方便并不易出错，一根总线可连接楼内所有住户的水表，施工费用较分线制低。数据采集器不参与底层数据采集，仅进行通讯， 计量不受外界因素影响。总线的通﹑断和各户表引出线的通﹑断不影响单表的数据采集和保存，即使此次因线路故障致使无法读数，只要重新挂接好线路，无需设置，各户表的真实数据仍可继续读出，其安全性与稳定性较好。

益都智能 秉承思考、快乐、协作、高效的企业精神和立足“高”“新”的企业经营理念，紧跟国家产业政策和信息化、智能化的物联网发展趋势，积极满足和引领市场需求，不断地在智慧能源、大数据、物联网、节能环保、资源再生等领域深耕和拓展，让“益都”品牌为全球能源行业贡献自己的力量！

很明显的问题
你的两块网卡都配置了网关。如果是上网需要走路由时，数据包发给两个网关去转发？两个网关会打架的。。
把内网的网关删了。再重启网络：service network restart

---