MySQL数据同步到数据仓库的方案

由于历史原因,MySQL是使用的最多,也是首选的数据库,但当数据量达到千万级别,并有在线分析的需求时,读大于写,MySQL的响应就会越来越慢,直接检索MySQL不但不能得到快速的响应,反而会影响写入性能。

此时,将MySQL数据同步到数据仓库中,从数据仓库中来检索数据就变得非常有必要了。

Python中使用Celery任务队列

Python中使用Celery队列。

Celery的架构由三部分组成,消息中间件(message broker),任务执行单元(worker)和任务执行结果存储(task result store)组成。

消息中间件:Celery本身不提供消息服务,但是可以方便的和第三方提供的消息中间件集成。包括,RabbitMQ, Redis, MongoDB, Amazon SQS,CouchDB, SQLAlchemy ,Django ORM, IronMQ。推荐使用RabbitMQ、Redis作为消息队列。

豫ICP备19001387号-1