京东自研发的分布式存储产品:JFS/JIM等

1. JFS-京东文件系统简介

参考: http://vdisk.weibo.com/s/d_SOTEcC5r5A

1.1. 产品愿景

1.2. 为什么自主研发

  1. 问题与挑战: 商品订单(365 * 100M * ~10KB)/商品图片(B * 20~200KB)/库房记录(365 * B * KB ~ MB)
  2. 各种方案:
    • 关系数据库: Oracle Exadata
    • 开源存储系统:HDFS/FastDFS

1.3. 实现技术与经验

编程语言的选择: Go写系统框架/C写单机存储引擎

总体架构

JFS_Architecture.png

JFS复制协议:

可靠性和一致性

类似系统

1.4. 正在进行的工作

重新审视业务需求

对象存储基本架构

1.4.1. 对象存储的革命

之前的版本

现在的版本

下个版本

1.4.2. JFS-v2 作为对象存储服务的完整后端

JFS Directory特性

JFS_Directory.png

1.4.3. JFS-v3 作为持久块存储服务

预分配、定长、独占写

2. JingDong In-Memory Store: 京东大规模内存存储平台

width="1000px"

2.1. 容量扩展的模式

JIM_Scale_Mode.png

2.2. 容量纵向扩展

JIM_Scale_Up.png

2.3. 容量横向扩展

JIM_Scale_Out1.png

JIM_Scale_Out2.png

3. 参考


CategorySlide

MainWiki: JingDong_Distributed_Storage_System_by_Lhf (last edited 2015-03-15 22:40:11 by twotwo)