- 工作內容:
1、負責內部數據生產工作,編寫大數據作業腳本,高質量完成數據需求。
2、迭代及維護數據采集、清洗、轉換和加載流程,提高數據生產效率。
3、參與湖倉建設,監控系統性能,進行系統優化。
崗位要求:
1、計算機相關專業本科及以上學歷,1年以上Python開發經驗及湖倉工作經驗。
2、熟練掌握Python語言,了解Python的常用框架和庫;熟悉shell語言。
3、了解大數據生態,如mapreduce、spark等。
4、具備良好的數據結構和算法基礎,能夠編寫高效、可維護的代碼。
5、熟練使用Git等版本控制工具,具備良好的代碼管理習慣。
6、有iceberg及doris經驗者優先。
|