主题“记忆”中的问题 https://knowledge.亚搏在线safe.com/questions/topics/single/19856.html网站 关于“记忆”主题的最新问题 我可以在我的过程开始时减小光栅的大小吗？ https://knowledge.亚搏在线safe.com/questions/86863/can-i-reduce-the-size-of-my-graster-at-the-start-of.html

你好，

我正在编写一个下载Sentinal-1 sar geotiff的工作台，重新计划，让它看起来正确，然后在上面叠加一些向量。输入文件的大小非常大，但大约是千兆字节，我希望我的输出大约是5MB。
目前，它在Mapnik Rasterizer失败，因为“分配不好”，我的研究告诉我，这通常与内存不足有关。

是否有一种方法可以在过程开始时通过光栅进行压缩，从而使其更快且更不容易失败？



 光栅 地鼠 记忆 马普尼克光栅 压缩 结婚，2019年2月13日11:11:44格林威治标准时间 沃塔希森 FeatureWriter输出端口：在写入功能后立即释放它们 https://knowledge.亚搏在线safe.com/idea/81627/featurewriter-output-ports-release-features-as-soo.html

FeatureWriter在所有功能都被写入时将其释放到输出端口。拥有大量功能会占用内存。

对于某些格式，这是正常的。但是也有一些格式（例如数据库），其中特性是一个接一个地编写的，或者是分组编写的。从这些编写器中释放特性将使FeatureWriter不阻塞，并可能减少内存使用。摘要端口仍然可以像统计计算器的累积端口和摘要端口那样在末尾释放。

 特写作家 记忆 阻断变压器 输出端口 清华大学，2018年11月1日18:43:14格林尼治标准时间 雷维兹 强制Writer或FeatureWriter在结束前将数据写入文件 https://knowledge.亚搏在线safe.com/questions/77521/force-writer-or-featurewriter-to-write-data-to-fil.html

你好，

我有一个工作区，在这个工作区中，我使用PostgisReader从数据库中获取大量数据。然后我尝试根据fanuexpression将其保存到不同的文件，如：output\@value（myattribute）.gml

在数据库中，我有20GB的数据，所以在某个时刻，我会得到内存不足的异常。
我的想法是首先使用FeatureReader只读myattribute，然后使用DuplicateFilter，然后将FeatureReader与where语句一起使用：myattribute=@value（myattribute）

但结果只有在读取所有数据时才会保存到文件中，所以我得到相同的结果：“内存不足异常”。

有没有办法：

首先从给定的表中读取所有唯一的myattribute，然后关闭连接（因为连接超时也可能是一个问题）

接下来，对于每个唯一的myattribute值，从给定的表中读取数据并逐个保存到单独的文件中？这样我就不会有内存不足或连接超时的异常。

谢谢你的提示！

 读者 性能 作家 记忆 性能优化 清华大学，2018年8月30日14:25:25格林尼治标准时间 威托斯 FME虚拟服务器大小调整建议 https://knowledge.亚搏在线safe.com/questions/74489/fme-virtual-server-sizing-advisions.html（https://knowledge.safe.com/questions/74489/fme-virtual-server-sizing

嗨，大家好，

这里是FME的新手。我们希望将FME安装到虚拟服务器（VX Rail平台）上，单引擎，快速安装。

从短期到中期，我们将适度地使用FME，但是我们计划运行的一些工作将是资源密集型的（例如，从gml到.shp的90 GB文件转换，每季度一次）。

我们建议的设置是，带1个VCPU的单服务器，用于OS和FME服务器安装的100 GB磁盘空间，1TB用于数据库存储库和任何其他东西，如草稿空间，寻呼等。此外，我们还考虑使用32或64 GB的RAM。

你对这个提议的配置有什么看法？看看其他的帖子，人们使用的RAM要少得多，所以我想知道这是不是太致命了，或者说它真的是明智的？

磁盘空间与整体性能有多大关系？500GB是否足以存储临时存储和数据库？

会感激你的想法的！

 服务器 记忆 猛撞 上浆 周一，2018年7月16日14:21:14格林尼治标准时间 阿布达克 每个引擎的FME云/服务器内存上限 https://knowledge.亚搏在线safe.com/idea/73910/fme-cloudserver-memory-caps-per-engine.html（https://knowledge.safe.com/idea/73910/fme-cloudserver-memory-caps-per-eng

我们有一些占用内存的工作区，希望通过引擎设置内存限制，以便确保其他较轻的任务顺利运行。

 发动机 记忆 FRI，2018年7月6日10:31:49格林尼治标准时间 奥利弗莫里斯 读取大型csv文件时出现内存问题 https://knowledge.亚搏在线safe.com/questions/65258/memory-issues-reading-from-large-csv-file.html

我正在使用64位的FME桌面（v 2017.1.2.1），并尝试将一个大的csv文件（大约1GB和6000万条记录）读取到PostgreSQL数据库表中，而不涉及几何结构。我使用的唯一变形金刚是一个属性映射器和两个表达式评估器，用于从英里/小时计算公里/小时和米/秒（见下文）。

我的问题是，运行工作台会消耗虚拟机上可用的大部分8GB RAM，这似乎是由于csv阅读器在第一个转换器（attributeranamer）之前读取了所有记录。我在工作台上运行了一整夜，由于一个FME应用程序崩溃，它失败了大约。处理了5200万条记录，我假设这与内存有关，因为日志的最后几行是：

2018-03-03 01:20:55_17816.4_1.0_statrp_attributerenamer（attrsetfactory）：处理了59977315个功能中的52421236个

2018-03-03 01:20:56 17818.1 2.8 Statrp ResourceManager：优化内存使用。请等待…

2018-03-03 01:20:56 17818.1 2.8通知资源管理器：优化内存使用。请等待…

2018-03-05 12:11:39 17818.2 0.1警告警告：并非所有创建的失效模式与后果分析会话都在关闭前被销毁。这可能导致不稳定

2018-03-05 12:11:39 17818.2 0.0警告警告：并非所有登记在册物品在关闭前都被丢弃。这可能导致不稳定

我的问题是，为什么FME使用了这么多从文件中读取的内存？

我没有使用任何组级的变压器，通常需要将所有功能保存在内存中，所以这些记录当然可以从csv中读取，按顺序处理和处置，用很少的记忆？

尽管文件很大，我希望FME能处理得更好。

干杯

约翰

 猪瘟病毒 后格雷斯 记忆 大文件 多写作者 周一，2018年3月5日16:34:13格林尼治标准时间 约翰斯吉斯布斯丁 可用内存不足 https://knowledge.亚搏在线safe.com/questions/61408/insufficient-memory-available-usage.html

我只为这个调度程序作业得到这个错误。其他工作都可以。

内存不足-错误代码为2-请阅读故障模式与影响分析帮助部分“调整内存资源”了解解决方法。

在/temp文件夹中没有太多要清理的内容。我怎样才能让这个工作运行？

 服务器 记忆 结婚，2018年1月10日20:04:43格林威治标准时间 福美塞尔GC 向版本化的SDE写入时，arcObjects的内存不足错误号为：“-2147216072” https://knowledge.亚搏在线safe.com/questions/59274/writing-out-to-a-versioned-sde-runs-out-of-memory.html

当我试图将大量数据从工作台写入SDE中版本化特性类的默认版本时，我总是会遇到这个错误：

|检索表/功能类“ilmocdbo.gtlf_ln”的arcObjects更新光标时出错。arcObjects的错误号为：“-2147216072”。来自arcObjects的错误消息为：基本DBMS错误[[Microsoft][SQL Server Native Client 11.0][SQL Server]由于内存压力，已卸载具有指定版本ID（11）的应用程序域，但找不到该域。][ilmoccmp.ilmoccbo.gtlf_ln]
据我所知，该错误意味着SDE在安装它的服务器上耗尽了RAM。这是因为当FME写出数据时，它被写入到SQL中的一个视图中，并且当发生这种情况时，该视图在RAM上。尝试写出大量数据时出错，但可能会因所写数据的大小和可用内存的大小而有所不同。
我要寻找的是一种提交视图的方法，该视图以较小的间隔写入，这样RAM就不会填满。
取消数据版本控制将是解决这一问题的一个解决方案，但输出SDE用于与此数据的复制。我考虑过创建一个可以完成复制工作的工作台，但希望坚持ESRI流程。
我认为另一种选择是使用过滤器允许任意数量的输出，继续运行工作台，直到找到所有编辑。这个工作台一次运行可能需要3-5个小时，所以这可能很费时。目前的失败很费时而且不起作用，所以至少这是可行的。
我考虑过自己写SQL SDE编写器，但这对版本化数据和将更改应用到正确的A/D表来说是一个挑战，以及相关的几何图形。
我尝试使用功能编写器而不是普通的输出编写器，但有相同的错误。
如果有其他想法或解决方案，我们将不胜感激。
SDE 记忆 星期二，2017年12月5日12:18:23格林尼治标准时间 布鲁克斯 光栅镶嵌器内存不足 https://knowledge.亚搏在线safe.com/questions/56948/graster-mosaicker-insufficient-memory.html

我现在在镶嵌600个geotiff，这相当于400毫巴。每当作者完成80%-90%的任务时，我会得到以下错误：

致命可用内存不足-错误代码为2-请阅读故障模式与影响分析帮助部分“调整内存资源”以了解解决方法。

内存不足。程序终止。请阅读FME帮助部分“调整内存资源”了解解决方法。

我在同一个工作台上运行了其他几个带有geotiff的马赛克，但数量较少（介于150MB-350MB之间），而且没有问题。较小的马赛克似乎也以更快的速度完成。任何超过350/400兆字节的数据都会使程序崩溃。

我有FME 2017.1（64位）。我有8GB的内存。

非常感谢您的帮助！！geotiffmosaiclogfile.zip文件

 地鼠 记忆 内存消耗 镶嵌机 结婚，2017年11月1日09:06:34格林尼治标准时间 布迪斯 捕获内存错误 https://knowledge.亚搏在线safe.com/idea/55992/catch-memory-error.html

一些进程由于内存不足而失败，尤其是在32位系统上工作时。以某种方式捕获内存错误是很有用的。目前工作区刚刚失效，用户有时很难理解原因，尤其是在FME服务器上。也许有人知道如何最好地处理这个问题——比如拒绝的端口或者为用户显示的终止符消息？

 记忆 错误处理 结婚，2017年10月18日02:14:29格林尼治标准时间 埃基基什弗勒 在压缩文件之前，FME工作台是否将文件写入磁盘？ https://knowledge.亚搏在线safe.com/questions/54288/do-fme-workbench-write-files-to-disk-before-zipp.html

我目前正在努力提高数据提取过程的性能，我想知道固态硬盘是否对我的特定工作流程有益。亚搏在线这个过程没有接近内存限制，所以在翻译过程中不会将临时文件（我知道）写入磁盘。该过程通过将zip文件中的形状文件写入本地网络驱动器来完成。我想知道，如果FME在压缩前临时将形状文件写入我的PC硬盘，因为如果是这样，这意味着固态硬盘将是有益的。但是如果压缩过程完全在内存中完成，那么我怀疑固态硬盘是否有益。

有人能回答我的问题吗？

 压缩文件 记忆 内存消耗 拉链 固态硬盘 FRI，2017年9月29日02:55:38格林尼治标准时间 詹多 峰值进程内存使用率 https://knowledge.亚搏在线safe.com/questions/53726/peak-process-memory-usage.html

我在17539版本中的非WindowsFME中看到了一些奇怪的东西：日志文件末尾报告的进程内存使用峰值是0…

这是我的Mac电脑：

这是在FME云上（Linux）

具有相同FME构建的Windows计算机确实正确显示了它。

其他人注意到了吗？

 记忆 清华大学，2017年9月21日13:06:36格林尼治标准时间 红色地理 FME服务器核心-java.io.ioexception:打开的文件太多 https://knowledge.亚搏在线safe.com/articles/48125/fme-server-core-linux-javaioioexception-too-many-o.html

受影响的系统

FME服务器2016.0到FME服务器2016.1.0.x

状态

断然的对于FME服务器2016.1.1（内部版本16588）和更新版本

问题

刷新许可证文件时，FME服务器核心正在泄漏文件句柄。当FME服务器长时间运行（估计3个月或更长时间）时，出现意外行为，需要完全重新启动FME服务器。

症状

有一些与此问题相关的症状报告：
1。FME服务器Web界面没有响应。

2。一个或多个FME服务器进程正在使用最大CPU。

三。FME服务器日志记录“失控”–例如在短时间内写入100s MB的日志。尤其是，在fmeserver.log文件中，重复出现以下行：包括Java.io.ioexception:打开的文件太多.

通知Reqththand线程401832：未能接受端口7071java. Io.IOExchange上的新客户端连接：在Sun.Nio.Ch.ServCoCKChhannIMPL.Access（ServOrackChhannIMPL.java：422）在Sun.Nio.Ch.ServCoCKChhannIMPL接受（ServOrackChhannIMPL.java：250）太多的Sun.Nio.C.ServCoCKEnChurnIMP.IMP.Access 0（原生方法）在COM.FiMeServer .ReQuththand LeBase.com上的Access ListTrnTrimeReQuest[Reqththand LeBase.java：432）.在COM.Acth.Field.FiMeSer亚搏在线ver .Reqththand LeBase.Run（Reqththand LeBase.java：937）在Java.Lang.Trime.Run（线程. Java：745）上运行的HealthMeMeVeleCclipse连接程序（ReqStand）.

分辨率

升级至FME Server 2016.1.1（内部版本16588）或更新版本，或定期重启FME服务器（每1-3个月）。

 FMESER 错误 记忆 崩溃 周一，2017年7月17日20:21:33格林尼治标准时间 赖安娜保险箱亚搏在线 优化内存使用-直接读写 https://knowledge.亚搏在线safe.com/questions/45467/optimizing-memory-usage-direct-read-and-write.html

我在知识中心搜索了几乎所有有关优化记忆的问题。我的电脑设置好了，技术上不应该有任何内存问题。

工作台从Oracle中读取15个非空间表和2个空间表，并将相同的表写入3种不同的文件格式-esri geodatabase（file geodb arcobjects）。选项卡和形状文件。

读卡器是一个连接到Oracle数据库的sqlcreator，语句为'select*from product'。$（州）房子。

我已经创建了一个已发布的参数$（state），这样我就可以运行同一个工作台9次。参数是指定要从中读取的Oracle表的状态。共有9个变量。

我的日志文件显示：

  • ME配置：FME U产品名称为“FME（R）2015.1.3.1”
  • 系统状态：FME临时文件夹（C:\users\mariaa~1.psm\appdata\local\temp）中的可用磁盘空间为269.57 GB
  • 系统状态：8.00 TB虚拟内存可用
  • 操作系统：Microsoft Windows 7 64位Service Pack 1（内部版本7601）
  • FME平台：Win64
  • 地点：恩纳瑙
  • 代码页：1252（ANSI-拉丁语I）
  • FME配置：进程限制为15.94GB物理内存和8.00TB地址空间。
  • FME配置：当进程使用超过9.57 GB内存或8.00 TB地址空间时，开始释放内存
  • FME配置：当进程使用量低于7.17 GB内存和6.00 TB地址空间时，停止释放内存

读取的功能总数大约为20毫升（80%是非空间的）。

总输出大小仅为6GB。

问题：

  1. 在我开始玩FME引擎记忆红线之前，是否有人找到了阻止“ResourceManager:优化内存使用率”的合适值。请等待….行出现，如果出现，它没有破坏工作台？
  2. 读卡器作为Oracle的非空间版本是否更快？SQLCreator？
  3. 我的临时文件夹位于我的C驱动器中，但是记忆不是问题。在我运行一个FME工作台之前，这个文件夹大部分时间都是空的。

我很感激任何能让我的工作台更快运行的建议。

 记忆 星期二，2017年6月6日06:23:07格林尼治标准时间 马金斯 为64位设置最大内存使用率的参数 https://knowledge.亚搏在线safe.com/idea/40283/parameter-to-set-maximum-memory-usage-for-64位.html

如果FME64位有一个工作空间参数，限制了该工作空间可以使用的总内存，这将是很有帮助的。这将允许用户更容易地运行多个RAM密集型工作空间，而不会因内存问题导致故障。我在Amazon环境中使用60+GB的可用RAM运行了几个工作空间，我遇到了一个问题，一个变压器上的一个工作空间将消耗超过59GB，这反过来导致我的其他工作空间出现故障。我特别发现空间滤波器和交叉变压器是最积极的RAM消费者之一。因此，能够对工作空间本身或者甚至对单个变压器的内存消耗量设置限制是很有用的。

 变压器 性能 资源 记忆 工作区参数 内存消耗 周一，2017年2月20日格林尼治标准时间21:50:10 戴维斯布莱克