UploadSession

UploadSession接口定义

public class UploadSession {
    UploadSession(Configuration conf, String projectName, String tableName,
                  String partitionSpec) throws TunnelException;
    UploadSession(Configuration conf, String projectName, String tableName, 
                  String partitionSpec, String uploadId) throws TunnelException;
    public void commit(Long[] blocks);
    public Long[] getBlockList();
    public String getId();
    public TableSchema getSchema();
    public UploadSession.Status getStatus();
    public Record newRecord();
    public RecordWriter openRecordWriter(long blockId);
    public RecordWriter openRecordWriter(long blockId, boolean compress);
    public RecordWriter openBufferedWriter();
    public RecordWriter openBufferedWriter(boolean compress);
}

UploadSession接口说明

• 生命周期：从创建Upload实例到结束上传。
• 创建Upload实例：您可以通过调用构造方法和TableTunnel两种方式进行创建。
  • 请求方式：同步。
  • Server端会为该Upload创建一个Session， 生成唯一UploadId标识该Upload，客户端可以通过getId获取。
• 上传数据：
  • 请求方式：同步。
  • 调用openRecordWriter方法，生成RecordWriter实例，其中参数blockId用于标识此次上传的数据，也描述了数据在整个表中的位置，取值范围为[0,20000]，当数据上传失败，可以根据blockId重新上传。
• 查看上传：
  • 请求方式：同步。
  • 调用getStatus可以获取当前Upload状态。
  • 调用getBlockList可以获取成功上传的blockid list，可以和上传的blockid list对比，对失败的blockId重新上传。
• 结束上传：
  • 请求方式：同步。
  • 调用commit（Long[] blocks）方法，参数blocks列表表示已经成功上传的block列表，Server端会对该列表进行验证。
  • 该功能是加强对数据正确性的校验，如果提供的block列表与Server端存在的block列表不一致抛出异常。
  • Commit失败可以进行重试。
• 六种状态说明：
  1. UNKNOWN：Server端刚创建一个Session时设置的初始值。
  2. NORMAL：创建Upload对象成功。
  3. CLOSING：当调用complete方法（结束上传）时，服务端会先把状态置为CLOSING。
  4. CLOSED：完成结束上传（即把数据移动到结果表所在目录）后。
  5. EXPIRED：上传超时。
  6. CRITICAL：服务出错。