选题十 智能银行企业信用系统

一、项目背景

为了提高银行对企业信用的管理和评估能力，实时监控和分析企业信用数据（如企业信息、贷款记录、还款记录等）是至关重要的。本作业将基于大数据平台模拟一个智能银行企业信用管理系统，学生需要完成数据采集、存储、处理、分析及可视化展示等任务。

二、项目要求

1. 数据采集与存储

   • 提供多个CSV格式的初始数据集（或自选数据集），包括：
     • 企业信息数据（companies.csv）：企业ID、企业名称、行业、注册资本、成立日期、注册地址
     • 贷款记录数据（loans.csv）：贷款ID、企业ID、贷款金额、贷款日期、到期日期、贷款状态
     • 还款记录数据（repayments.csv）：还款ID、贷款ID、还款金额、还款日期、还款状态
     • 银行数据（banks.csv）：银行ID、银行名称、银行地址、银行等级
   • 将这些数据集导入到MySQL数据库中，并创建相应的表结构。
   • 使用Sqoop将历史银行企业信用数据从MySQL导入到HDFS中。
   • 在HBase中创建表结构，并将处理后的数据存储到HBase中。

2. 数据处理与分析（使用Spark）

   • 基础分析：
     • 使用Spark进行数据清洗，去除噪声和无效数据。
     • 计算各行业的平均贷款金额、还款率等基础指标。
   • 高级分析：
     • 信用评估分析：基于贷款和还款数据，分析不同企业的信用等级，提出信用评估模型。
     • 贷款风险分析：分析不同行业和地区的贷款风险，找出高风险行业和地区，并提出风险控制建议。
     • 还款行为分析：使用关联规则算法（如Apriori）分析还款行为与企业特征的关联，评估还款行为模式。

3. 数据整合与查询

   • 在HDFS上使用Hive创建表结构，对数据进行分区存储和管理，提高查询效率。
     • 创建分区表，根据时间、行业等进行分区存储。
     • 创建视图，简化复杂查询，提高查询效率。
     • 使用HiveQL进行复杂查询，如计算每个行业的日均贷款金额、查询高还款率企业、对比不同时间段的贷款变化等。
   • 在HBase中存储实时还款数据，并进行快速查询。
     • 创建表结构，包括列族和列，如：时间、贷款ID、还款金额、还款状态。
     • 使用HBase API对实时数据进行快速查询和分析。

4. 可视化分析

   • 搭建一个可视化平台，展示企业信用数据分析结果，包括贷款金额变化图、还款率图、信用等级分布图等。
   • 实现数据的动态更新功能，根据时间段或行业选择展示不同的企业信用数据。