异步数据管道=AWS（S3和SQS）+FME云

tesera遇到了一个web应用用例的挑战，这个用例需要存储大量数据、处理大量数据处理请求、实现非阻塞数据管道、最小化基础设施成本以及自动化数据处理和处理。使用amazon web services（aws）simple storage service（s3）提供的数据存储值、aws simple queue service（sqs）提供的任务队列值和fme cloud提供的数据处理基础设施值，tesera开发了一个异步数据管道，用于管理从上载到模型指示器开发的客户端数据，以用于许多分析应用程序。此外，fme云调度器用于降低基础设施成本，数据处理引擎仅在工作时间可用，sqs用于将任务放入队列中，直到处理引擎联机。整个管道包括：1。通过Web应用程序->SQS队列创建用户项目以启动基本项目数据2。通过Web应用上传用户数据->数据存储到S3->待检数据SQS队列->FME云进行数据检查->S3存储数据检查结果3。用户通过web应用查看数据检查结果->待处理有效数据的SQS队列->FME云处理原始数据到模型指标->S3存储处理后的项目数据4。用户通过web应用程序查看项目数据并开始数据分析我的演示将引导用户浏览整个流程，重点关注我们如何设置fme云来监视和处理新的sqs队列消息，我们如何在fme云上本地管理数据，以及我们如何使用s3作为主要数据存储库。