tera

Tera是一个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据,使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,做到模型灵活的同时,实现了高吞吐与水平扩展。

系统特性

• 全局有序

• 热点自动分片

• 数据强一致

• 多版本,自动垃圾收集

• 按列存储,支持内存表

• 动态Schema

• 支持表格快照

• 高效随机读写

数据模型

Tera使用了bigtable的数据模型,可以将一张表格理解为这样一种数据结构

map\u003cRowKey, map\u003cColummnFamily:Qualifier, map\u003cTimestamp, Value\u003e \u003e \u003e

其中RowKey、ColumnFamily、Qualifier和Value是字符串,Timestamp是一个64位整形。ColumnFamliy需要建表时指定,是访问控制、版本保留等策略的基本单位。

参考资料