对账系统或者对账平台，一般用于比对财务数据上的金额或者订单数据的差异等，都体现在交易的金额上。但这里说的对账平台其实并不想只局限的应用于财务，而更多的想突出一个工具，一个平台化的工具。对账的诉求起源于财务对账，并且目前已经支持多种业财间不同形式的对账工作，其次工具化的产品可以支持不同业务形态的大数据量比对。通过统一的平台建设，使得不同业务线相同或类似的对账诉求能够得以统一解决，减少人员消耗以及独立开发所造成的资源浪费。... 阅读详情
Read More → 标签： Spark
一直不想自己搭建环境，一来是觉得有些麻烦，从ZK，Hadoop，到Spark全都得配置一遍太耽误时间，二来公司测试环境的Spark可以用则自己能省也就省了。但后来发现在Docker下部署下来可以这么轻松，于是也就自己搞了一套。简单来说docker-compose是Docker下的一个编排工具，通过使用配置文件的方式来编排，创建和管理容器，使得集群化的容器环境管理起来更加方便。这里就使用BDE Pipline Application来构建部署Spark开发环境。... 阅读详情
Read More →