1-Tachyon on Mesos：分布式内存文件系统在Mesos应用中实践-张明锋.pptxVIP

tachyon on mesos 数人科技 张明锋 相关议题 1.mesos 2.tachyon 3.tachyon on mesos mesos是什么 tachyon是什么 为什么要这样做，解决了什么问题 如何实现，实现中的评估 后续工作以及展望 Mesos能做什么 1，kernel提供资源分配和frameworks注册和管理 2，丰富的frameworks满足各种定制化作业的需求 long-job: marathon cron-job: chronos database: casandra,hbase,mysql framework 3,通过driver形式原生支持KVM,物理机，docker等 Mesos架构 1，通过master 来实现framework注册，资源分配 2, 通过slave 来实现任务执行 mesos 中文文档： /Dataman-Cloud/Mesos-CN/blob/master/SUMMARY.md Mesos 资源分配和任务执行 1, 通过两层scheduler来提供资源 2, 通过framework下发到mesos slave上的executor来执行特定作业 mesos 中文文档： /Dataman-Cloud/Mesos-CN/blob/master/SUMMARY.md tachyon 能做什么 1,降低数据交互查询的时间 2，支持可插拔的数据管理策略 热数据导入内存 冷数据存入hdd,SATA 3，内存中数据不存在重复，并减少GC时间 4，保证内存中的数据安全当job意外挂掉。 tachyon 架构 1，master 负责工作流和worker管理 2，worker针对上层作业和底层存储实现相应的功能 为什么我们要做 tachyon on mesos 现有的 {spark,hadoop} on mesos大数据解决方案，仍然继承了传统大数据尤其是交互式数据处理中的多次数据提取的时间问题和由于作业失败而导致的数据丢失和重新提取问题。 Spark job Hadoop job Spark Scheduler Hadoop Scheduler spark task1 Map-reduce {spark,hadoop} app mesos master hadoop task1 hadoop task2 spark task2 mesos slave 分布式文件系统 HDFS DFS 为什么我们要做 tachyon on mesos tachyon 能够很好的解决该问题，但手动搭建和维护成本非常之高而且不支持动态扩容和存在一定的资源浪费 Spark job Hadoop job Spark Scheduler Hadoop Scheduler spark task1 Map-reduce {spark,hadoop} app mesos master hadoop task1 hadoop task2 spark task2 mesos slave 分布式文件系统 HDFS DFS 内存存储层 tachyon on mesos实现和考量 考量标准： 1，更少的人工干预和metrics监控 2， 减少中间层的抽象，更高的资源利用率 framework mode marathon deploy mode tachyon framework S mesos slave tachyon wokrer mesos slave tachyon wokrer T T Marathon mesos slave Thachyon works mesos slave Thachyon works mesos slave Thachyon works 后续工作及展望 1，开源 2，多租户实现 3, 针对多master 统一使用zookeeper为注册和信息共享服务 4， more Thank You! and we’re hiring