Hive中如何进行数据存储操作？代码举例讲解

在Hive中,我们可以使用以下方式进行数据存储操作:

1. CREATE TABLE:

• 使用CREATE TABLE语句可以创建不同格式的Hive表来存储数据。
• 这需要指定存储格式(TEXTFILE.ORC.PARQUET等)以及表结构。
  例如:

CREATE TABLE table_name 
(
    col1 STRING, 
    col2 INT
)
STORED AS ORC; -- 创建ORC格式的表

2. LOAD DATA:

• 使用LOAD DATA语句可以将本地数据文件加载到Hive表中存储。
• 这需要指定本地数据文件路径和要加载的Hive表名。
  例如:

LOAD DATA  
LOCAL INPATH '/path/to/data.txt'  
INTO TABLE table_name;  -- 将本地data.txt数据加载到Hive表table_name存储

3. INSERT OVERWRITE:

• 使用INSERT OVERWRITE语句可以将查询结果插入Hive表中存储。
• 这需要指定目标存存储表名和查询语句。
  例如:

INSERT OVERWRITE TABLE table_name    
SELECT * FROM source_table;  -- 将source_table表数据插入table_name表存储  

4. Amazon S3:

• 我们可以使用Amazon S3服务来存储Hive表数据。
• 这需要在Hive中配置S3访问参数,并在创建表时指定存储位置为S3。
  例如:

CREATE EXTERNAL TABLE source_s3 
(
    col1 STRING, 
    col2 INT    
)
STORED AS ORC  
LOCATION 's3a://bucket/path/';  -- 指定S3路径存储表数据

5. HDFS:

• Hive表数据的默认存储位置是HDFS。我们也可以在创建表时明确指定HDFS路径。
• 这需要指定表数据在HDFS上的存储路径。
  例如:

CREATE TABLE source_hdfs 
(
    col1 STRING, 
    col2 INT    
)  
STORED AS ORC 
LOCATION '/path/to/data'; -- 指定HDFS路径/path/to/data存储表数据