python 3.6 cx_Oracle.DatabaseError: DPI-1050

很明显，这里cx_Oracle依赖本机oracle客户端启动，原因是本机安装的客户端版本太低，查看PATH环境变量是否加入oracle客户端路径，没有的话可以在PATH前面手动添加一个更高版本的客户端，比如安装一个NavicatforOracle，,把文件夹下的instantclient_12_1目录路径加到PATH环境变量中，注意:是里面包含ocidll，oraocci12dll，oraociei12dll的目录。

本文研究区范围较大，在建库过程中，按照“一个标准，分幅入库，最后整合”的步骤，构建中亚地区数字地质图空间数据库。

1建库准备

（1）资料收集及预处理

完整、齐全而又有效的第一手资料是建立地理信息空间数据库的前提，也是对地理信息空间数据进行空间分析的基础。因此，要根据所选图幅，全面收集有关资料，以满足建库需求。资料收集主要有以下两类：①图形资料：包括相同比例尺的地理底图、地质图、矿产图等；②文字资料：主要是有关的地质报告、地质图说明书、有关规范和标准等。在全面收集资料的基础上，对资料进行系统的分析研究、综合整理及筛选后，将中亚地区地质图按300 dpi规格进行扫描。对扫描色彩较差的图像，进行适当的色彩调整，使之清晰可辨。

（2）坐标系的统一

在矢量化过程中，我们统一采用BJ54平面坐标系，1980黄海高程系作为参照系。中亚地区中央经度为81°，按3°分带在14 带内。在创建空间地理数据库（personal geodatabase）及要素数据集（feature dataset）和扫描影像几何校正时，均采用该坐标系统。

本文在ERDAS IMAGINE 92软件的支持下，对扫描地质图进行几何校正，采用多项式几何校正法，按一次方，选取图纸网格线交点作为控制点，每幅图至少选取20各控制点，进行几何校正，精度保证在05个像素以内，即10米的精度内，完成对中亚地区扫描地质图的几何校正。

（3）各要素图层、属性表的建立

按照上述技术流程，对中亚地区建立统一的矢量属性数据库，每一幅图均采用统一的空间地理数据库（personal geodatabase），每个库下建立一个要素数据集（feature dataset），每个要素数据集包含11个要素类，按几何形状分为面状要素、线状要素和点状要素三大类：①面状要素类有6个：侵入岩地层要素属性表、沉积（火山）岩地层要素属性表、变质岩地层要素属性表、蚀变带要素属性表、脉岩属性表、水域/流域面属性表；②线状要素类有2个：断层属性表、地质界线属性表；③点状要素类有3个：矿产地（点）属性表、产状属性表、火山口属性表。一个属性表就是一个图层，既保存了各地质要素的空间图形数据，又保存了属性数据。每个要素属性表的结构和字段按前文所述，一一建立。如图7-19所示。该图以赛里木湖图幅为例，列举了数据库中包含的所有图层。

2数据采集和编辑

数据采集主要是在ArcMap 环境下对校正后的地质图按各实体要素逐一进行矢量化，对个地质要素类按图层进行分类存储，按照图7-20所示的矢量化步骤，严格依照该流程设计的图层录入顺序进行矢量，这样才能提高矢量化的效率，也保证了整个图幅几何图形逻辑拓扑的一致性。手动矢量图形时，应当跟踪各类地形中心线来完成每根线条（如图7-20 a），尽量保证线条的圆滑，不应产生锐角或小尖角（如图7-20 b），在矢量时，放大的比例不能太大，一般保证当鼠标移动一个像素图上距离不超过20米为宜，如果放大比例过大，就会导致采集点过多、过密，容易造成整个线条的不圆滑（如图7-20 c）。在矢量过程中，利用ArcMap的断点捕捉功能，选择恰当的节点进行捕捉，对于线性地质要素应尽量避免接头过长或过短（如图7-20 d），对后续“线转面”生成面图层时容易造成影响。尤其对断层的矢量尤为注意，因为断层在地质图上一般都用较粗的线表示，而其他岩性界线一般很细，倘若不注意缩放比例的大小，很容易造成矢量失真，难以保证数据采集的精度。

在矢量化过程中难免会出现图7-20（a、b、c、d）所示的错误，这时我们可以利用ArcMap快捷方便的矢量工具进行修改、编辑。选择要修改的线，双击就会出现构成线的节点，用鼠标拖动，很容易将未沿中线矢量的线条拖至中央，对于矢量锐角明显、不圆滑或接头过长的线条，双击出现节点后，右键选中节点，利用d出的快捷菜单，可以进行“增加节点”“删除节点”等 *** 作，方便地进行修改和编辑。

图7-19 地质图数据库各图层的建立（以赛里木图幅为例）

在保证了对线型地质要素采集的准确性，由“线转面”时才能保证数据采集的有效性和完整性，使原纸质地质图上的信息完整、有效地进行“数字化”。利用ArcMap矢量工具的“线转面”（feature to polygon）工具，将临时线文件转换为临时面文件，设定闭合容差为10米。“线转面”完成后，要对生成的面（polygon）进行检查，看是否有遗漏，若发现至少10处以上遗漏，则重新对“临时线”图层做进一步矢量工作，完善后再转面。若小于10处，则可以在“临时面”图层进行修改和编辑，利用“线跟踪”和“creat polygon”工具进行面的增加，对于遗漏的“孤岛”则用“cut polygon”工具进行创建。

检查“临时面”图层无误后，要对其进行“分类”，按照地质图图例、柱状图等要素按沉积岩地层、侵入岩地层、变质岩地层和面状水域与沼泽进行分类。在“临时面”图层上选择所有沉积岩地层的图斑，然后导出保存在该幅地质图数据库的要素集下的要素类，命名为“临时沉积岩”要素类；依次选择侵入岩地层的图斑、变质岩地层图斑及面状水域与沼泽图斑，分别导出保存在同一个要素集下。各要素导出完成后应仔细检查看是否有分类错误或遗漏，用“面拷贝”或删除工具对该类错误进行修改。

图7-20 矢量化地质要素图

对于脉岩（面）要素、产状（线）要素、蚀变带（面）要素、火山口和矿点（点）要素基本很少与其他图层共用边界，因此，直接对这些要素单独进行矢量便可。

最后进行图形的质量检查，包括岩性划分类别检查，几何拓扑检查，检查无误且没有遗漏后，导入标准库中。这样基本完成了一幅扫描地质图11类地质要素的矢量入库工作，下一步，主要参考图例、柱状图和地质图说明书进行属性录入。如流程图7-16所示。最后，检查属性数据录入完整无误后，便可进行下一图幅的矢量工作。

3图形拼接

依次完成地质图的矢量入库工作后，下一步就是进行图形数据的拼接，属性数据库的合并。首先，将地质图数据库的11个地层，按各要素类导入一个要素集下，例如，将地质图数据库的“沉积岩地层单位”图层导入一个空的标准库中，存入一个要素集下，构成中亚地区地质图数据库。显然，此时，这个数据库里存放的所有图形数据和属性数据只是按各图幅为单位进入数据库的，难免有很多数据冗余，以及图形数据的接边问题，所以我们必须首先从图形数据的接边出发，然后再依据各图斑的属性数据进一步完善各图幅数据库的拼接。

图形的拼接主要针对数据库内面（polygon）类数据和线（line）类数据的拼接，线类数据的拼接与“线”的修改、编辑类同，不做过多阐述。重点讨论面（polygon）类型数据的图形及属性数据的拼接。

在矢量化过程中，我们按标准图框进行分幅。用标准图框的线来裁切“临时线”再转换为面（polygon）数据，所以从整体上来说，各图幅图形数据的接边难度不大。只存在由于各图幅几何校正精度的差异引起的图幅间细小的缝隙或重叠，在几何校正时我们尽量保证每幅图的校正精度在05个象元，图上距离在10米以内，因此，图幅间这些细小的缝隙或重叠区域大多在容差以内，对重叠部分可以用“merge”工具进行简单的合并，对于有缝隙的区域，可以参照该区域相邻的图斑，利用“线跟踪”、“creat polygon”创建新的面，然后将其归并到与之相邻且面积较大的图斑中去。

由于这类空隙和重叠区域较为细小，研究区覆盖范围较大，如果用肉眼一个边界一个边界的去寻找、修改，较繁琐，且容易遗漏，造成拼接的不完整。这时，我们可以利用ArcGIS提供的拓扑图层进行检查，将中亚地区地质图数据进行完整的拓扑检查，根据可能出现的图形错误，设定拓扑检查规则。在本文研究区数据拓扑处理过程中，主要采用“must not have gaps”——“不能有空区”、“must not overlap”——“不能有交集”等规则，能够快速检索出因几何校正精度不一致而引起的“空隙”和“重叠”部分，并直观地将有“空区”或“有重叠部分”的图斑用红色标识出来，能方便的对出现这些区域的图形进行修改、编辑。利用拓扑检查，大大提高了图形拼接的效率和质量，并且减少了人为的错误及遗漏。

另外，利用ArcGIS的“dissove”工具，也可以快速完成这些细小的“空隙”和“重叠”带来的图形拼接工作。选择要处理的图层，然后设定适当的容差，将该要素图层按某个字段进行合并，能迅速完成该图层的拼接。由于该工具在合并图斑时，只要各图斑所选的字段相同，都合并为一个大的图斑，且属性也进行合并，生成新的“multipolygon”类型的图层。所有，还应利用“multi-part to single part”转换为单个的“polygon”类型的数据才能完成真正的图形拼接工作。

图7-21 中亚地区数字地质图空间数据库的组成

通过上述讨论和分析，采用ArcGIS便捷的工具菜单，对标准图框进行分幅入库的图形数据和矢量数据，可以快捷、高效的完成图幅的拼接工作，完成中亚地区数字地质图空间数据库的构建。如图7-21所示。每个要素类包括一个图形图层和一个与之对应的属性数据表。通过图形即可方便地进行属性的查询，也可通过属性表的字段来查询相关的地质要素。中亚地质图数据库的建立，为进行GIS空间分析，成矿信息的提取以及证据权计算奠定了数据基础，提供了数据分析平台。

数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。我们今天就来看看大数据技术在数据采集方面采用了哪些方法：

1、离线采集：工具：ETL；在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取（Extract)、转换(Transform)和加载(Load)。在转换的过程中，需要针对具体的业务场景对数据进行治理，例如进行非法数据监测与过滤、格式转换与数据规范化、数据替换、保证数据完整性等。

2、实时采集：工具：Flume/Kafka；实时采集主要用在考虑流处理的业务场景，比如，用于记录数据源的执行的各种 *** 作活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据采集会成为Kafka的消费者，就像一个水坝一般将上游源源不断的数据拦截住，然后根据业务场景做对应的处理（例如去重、去噪、中间计算等），之后再写入到对应的数据存储中。这个过程类似传统的ETL，但它是流式的处理方式，而非定时的批处理Job，些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。

3、互联网采集：工具：Crawler, DPI等；Scribe是Facebook开发的数据(日志)收集系统。又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它支持、音频、视频等文件或附件的采集。爬虫除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。

4、其他数据采集方法对于企业生产经营数据上的客户数据，财务数据等保密性要求较高的数据，可以通过与数据技术服务商合作，使用特定系统接口等相关方式采集数据。比如八度云计算的数企BDSaaS，无论是数据采集技术、BI数据分析，还是数据的安全性和保密性，都做得很好。数据的采集是挖掘数据价值的第一步，当数据量越来越大时，可提取出来的有用数据必然也就更多。只要善用数据化处理平台，便能够保证数据分析结果的有效性，助力企业实现数据驱动。

以上就是关于python 3.6 cx_Oracle.DatabaseError: DPI-1050全部的内容，包括:python 3.6 cx_Oracle.DatabaseError: DPI-1050、中亚地区数字地质图数据库的建立、大数据怎么采集数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！