处理数据的挑战在几乎所有车辆在英国
场动力学的姊妹公司安全合作伙伴亚搏在线味噌,创建了一个报告,分析了1.4亿类4运输部(年检)驾驶记录来获得最准确的观点之一,车辆的平均里程数在英格兰、苏格兰和威尔士。他们想发现有价值的见解关于年度里程每辆车和里程车辆类型和模型之间的差异。
创建报告,现场动态团队需要处理四年的数据几乎每辆车在英国。要做到这一点,他们用贴切的测试中,法律规定测试的汽车通常在三岁的时候,计算里程每辆车每个测试之间的差异。
场动力学需要一种方法来处理大量的数据,验证,并加载到PostgreSQL数据库快速高效地。
他们利用FME验证、数据排序、过滤、和集成的大规模数据集
司机和车辆标准机构(DSVA)发布年检数据,但由于数据不是列为一个官方的统计,英国统计权威不评估异常。场动力学发现,一些车辆不准确记录里程负,和一些记录驱动一年超过十亿英里。FME打扫了明显的数据异常和逻辑规则实现需要一个高质量的数据加载到PostgreSQL数据库。
有了这样的大型数据集,数据验证和准备将会被证明是一个巨大的挑战。FME没有代码变形金刚和高性能引擎很快的模式标准化,属性替换,过滤、数据聚合,准备使用的数据。
没有FME基金领域动态的分析师将不得不手动验证部分,和清洁和加载数据。场动态创建一个保存的时间使用深刻的报告挑战感知周围车辆运动的平均速度在英国多少钱。
140米
驾驶记录分析
