文章目录

• • 1.背景说明
  • 2.环境搭建
  • • 2.1 参考链接
    • 2.2 `oracle`查询测试代码
  • 3.数据请求与插入
  • • 3.1 `Oracle`建表语句
    • 3.2 `Python`代码实现
    • 3.3 效果示例
  • 4.问题链接

1.背景说明

• 接口访问限制；
• 接口请求次数限制；
• 接口请求数量限制，针对大数据研发过程中，数据对接绝对是致命伤。一个个数据烟囱(Data Silo)，一处处护城河，一个个数据坑，踩不完根本踩不完。
• 大致目标： 有限的资源下，请求结果数据并持久化（读取、下载、入库、上云）。又体验了一把非结构化数据处理真心不是关系数据库擅长的。
• 补充说明： 文中用的免费在线图床，不是很稳定，不然循环处理会很流畅。

2.环境搭建

2.1 参考链接

• 参照如下环境，通过docker快速搭建Oracle运行环境；如果已有Oracle环境忽略该小节。
  • 【kettle005】kettle访问Oracle数据库并处理数据至execl文件（已更新）
  • 【kettle005】kettle访问Oracle数据库并处理数据至execl文件（已更新）

2.2 oracle查询测试代码

• import cx_Oracle
  # 设置Oracle数据源名称
  dsn = cx_Oracle.makedsn('192.168.48.150', '1521', service_name='xe')
  # 创建数据库连接
  connection = cx_Oracle.connect(user='system', password='oracle', dsn=dsn)
  cursor = connection.cursor() # 创建游标
  # 插入数据的SQL语句
  
  cursor.execute('SELECT * FROM YOULI."youli_testtable"')
  result = cursor.fetchall()
  # 提交事务
  connection.commit()
  # 关闭游标和连接
  cursor.close()
  connection.close()
  
  result_df = pd.DataFrame( result )
  result_df.columns = ["id","name","email","age","sex","id_card","mobile_phone","visa_card","officer_card","address","hiredate","score"]
  result_df.head( 3 )
  

• 运行效果图
  

3.数据请求与插入

3.1 Oracle建表语句

• -- YOULI.YOULI_ZPTEST definition
  
  CREATE TABLE