医院建设大数据项目的技术路线选择.docx

医院建设大数据工程的技术路线选择【问题描述】应该如何结合医院的需求场景、医院现有数据的特点以及对大 数据处理速度的要求选择合适技术路线？目前主流的大数据处划框架包含以下几种，用户需要结合自身的要求 和特点进行选择：Apache Hadoop是一种专用于批处理的处理框架。Apache Hadoop及其MapReduce处理引擎最适合处理对时间要求不高的非常大规模 数据集。通过非常低本钱的组件即可搭建完整功能的Hadoop集群，使得这 一廉价且高效的处理技术可以灵活应用在很多案例中。Apache Storm是一种侧重于极低延迟的流处理框架，也许是要求近实 时处理的工作负载的最正确选择。该技术可处理非常大量的数据，通过比其他 解决方案更低的延迟提供结果。Apache Samza是一种与Apache Kafka消息系统紧密绑定的流处理框 架。虽然Kafka可用于很多流处理系统，但按照设计，Samza可以更好地发 挥Kafka独特的架构优势和保障。该技术可通过Kafka提供容错、缓冲，以 及状态存储。Apache Flink是一种可以处理批处理任务的流处理框架。该技术可将 批处理数据视作具备有限边界的数据流，借此将批处理任务作为流处理的 子集加以处理。Flink是一个新兴的工程存在一定的局限性。Apache Spark是一种包含流处理能力的下一代批处理框架。与Hadoop 的MapReduce引擎基于各种相同原那么开发而来的Spark主要侧重于通过完 善的内存计算和处理优化机制加快批处理工作负载的运行速度。Spark是多 样化工作负载处理任务的最正确选择。Spark批处理能力以更高内存占用为代 价提供了无与伦比的速度优势。对于重视吞吐率而非延迟的工作负载，那么比 较适合使用Spark Streaming作为流处理解决方案。