斯潘8
斯潘4
2017年,我们推出了下一代FME云实例随来nginx反向代理配置,更多可用区域,新的实例类型和临时磁盘。
为了充分利用临时磁盘的功能,我们需要研究并理解3个不同的概念或机制:
在理解了这三个方面的含义和影响之后,我们将能够利用FME云上的临时磁盘来提高我们的工作流程的性能。亚搏在线
在主磁盘上,我们存储了FME服务器安装和FME服务器共享的资源,只有一个例外,临时文件夹。FME服务器资源中的temp文件夹是到FME云实例的临时磁盘的资源连接。
顾名思义,temp文件夹只能用于不需要在FME云实例上持久化的数据。不需要持久化的数据通常是在某个工作区中处理的上载用户数据,您可以从云资源(如AWS S3)下载数据以在FME云上进行处理,而在转换过程中,FME需要将数据写入磁盘(我们将很快对此进行详细了解)。这些数据应该转到临时磁盘而不是主磁盘的原因有两个:
1。稳定性:当主磁盘已满时,即使在实例重新启动之后,Web应用程序服务器也可能会关闭并无法正确启动。通常恢复的唯一方法是回滚到以前的备份。如果我们不存储难以控制和估计的数据,如用户数据或临时FME输出,就可以避免这种风险。在主磁盘上。
2。灵活性:每次重新启动FME云实例后,将清除临时磁盘。这允许我们以比主磁盘更灵活的方式调整临时磁盘的大小。主磁盘的大小只能增加,而临时磁盘的大小可以随时根据您的要求进行增减。
三。可利用性:因为每次重新启动FME云实例时都会清除临时磁盘,确保足够的磁盘空间可用的开销明显较低,因为您可以轻松地清除整个磁盘,例如在周末计划重新启动。
4。负担能力:临时磁盘不包含在FME云备份中,因此您可以将将来不需要的数据存储在临时磁盘上,从而显著降低备份成本。
许多与FME的转换需要将数据写入磁盘以供将来处理。最常见的原因之一是内存不足,FME服务器试图优化内存。有些人可能还记得几年前,日志文件中的一条消息就意味着工作区基本上已经失败了,即使它仍在尝试:
资源管理器:优化内存使用。请等待…
但从那以后我们走了很长的路。我们的开发人员对内存利用率进行了相当大的优化,而且快速SSD磁盘的价格也提高了,这使得这个场景不再像以前那样毫无希望了。
内存密集型转换的常见疑点是带有合并或覆盖后缀的变形金刚(例如FeatureMerge或PointOnAreaOverlayer)。点云相关变压器,一般来说,需要为排序或分组目的“保留特征”的变压器。
FME云运行在AWS EC2实例上,并使用AWS通用SSD(GP2)卷。要了解这些卷的两个重要细节是I/O信用和突发性能。一般来说,我们可以说,磁盘越大,每秒的最小输入/输出操作(IOPS)就越高。
此外,对于基准性能,AWS GP2卷小于1000 GB,还能够在信用系统的基础上实现3000 IOPS的性能突发,这同样基于磁盘的大小:磁盘越大,最大突发性能持续时间越长。有关awss gp2卷性能的所有详细信息,请确保查看此AWS日志:
简单来说,这意味着我们的临时磁盘越大,我们对它的读写速度就越快。现在我们知道,FME在转换期间使用临时磁盘来写入我们的临时数据,并且我们更喜欢将来自用户或云服务的输入数据存储在临时磁盘上,很容易理解,根据我们的需要调整磁盘大小的能力不仅是一种增加存储空间的工具,也是一种提高性能的好方法。
有关如何调整临时磁盘大小的详细信息,请参阅我们的文档和教程:
?2019安全亚搏在线软件公司|合法的