span8
span4
你好,
我需要读大约。单个工作台流程中的1.4万条记录。这是不可避免的。它们都必须被读取,因为稍后它们将参与到一个特性重构器中,并且任何一个特性都可能是候选特性。
读者开始精细地阅读2500条记录,每次不到10秒。然而,这慢慢地退化,所以在800K记录之后,现在是30秒。一跳,接近尾声接近50。一应俱全,整个阅读过程大约需要4小时45分钟。RAM/网络速度真的不是问题。因此,记录处理时间的逐渐增加似乎有些奇怪。
是否有从PostGIS(或任何)阅读器读取大量记录(>300K)的提示/技巧,从而显著减少时间?我曾想过增加“一次要取的记录数量”,但我不想让事情变得更糟。
非常感谢,
皮特
对于更重的任务,我不喜欢将所有数据加载到workbench中。我使用的替代方法有:
-只加载你需要的数据。带有语句和/或空间交叉点的功能阅读器将帮助您动态加载数据子集。
-让数据库来完成这项工作,它将比其他任何东西都快。将合并后的数据写入临时表,动态地编写一个连接脚本,并与SQL执行程序一起运行它以再次获取它。
创建next-next-finish工作区可能不是最快的,但是问题通常有多个可行的解决方案。由于我没有太多耐心,所以我倾向于在数据增长时重建工作区。当数据量过大时,无论如何都需要考虑另一种选择。尝试加载地面激光扫描数据:-)
©2019安全亚搏在线软件公司|法律