搜尋職缺
Data Engineer 資料工程師

07/16更新
Data Engineer 資料工程師
睿能創意股份有限公司
本職缺「優先面試持有經濟部能力鑑定證書者」
雇用型態
全職
工作型態
無遠端工作
分類
營運智慧分析師、AI應用規劃師
分類
營運智慧分析師、AI應用規劃師
薪資範圍
面議 經常性薪資達 4 萬元或以上
工作地點
臺北市松山區
需求人數
1人
職缺描述
職務影響力
本職位以資料工程與分析平台建設為核心,負責打造穩定、可擴展且可維運的工程數據基礎設施,作為工程與研發團隊進行數據決策的關鍵支撐。透過提升資料管道品質、系統自動化與整體擴展性,使資料分析工程師與工程團隊能在一致且可信的數據基礎上,規模化地產出可靠洞見,而非仰賴零散的個人分析。
職務說明
1. 以工程與研發決策需求為出發點,盤點產品、製程與實驗相關數據來源,包含製造端與實驗室數據,定義資料整合範圍、資料流向與資料倉儲建設的優先順序。
2. 進行現有資料管道與平台架構的盤點與評估,主導 Airflow 與 dbt 的架構升級,從單純排程執行進化為具備自動化測試、資料品質檢查(Data Quality Check)與異常告警機制的穩定系統。
3. 規劃並優化資料處理流程,評估並導入 Polars、Numba 等高效能技術,以取代既有 Pandas 流程,因應資料量級成長並提升整體處理效能。
4. 設計並開發穩定的資料介接機制,包含以 Python 或其他合適工具建置與維護 Custom Connectors,將異質數據源整合至統一的資料倉儲架構中。
5. 負責資料相關基礎設施的維運與自動化,包含地端伺服器與資料庫(E.g. Nginx、PostgreSQL、NAS),並推動 CI/CD 流程,確保開發與正式環境的一致性,降低人工維護成本。
6. 與資料分析工程師與內部分析相關角色協作,建立結構清楚、定義一致的 Data Marts,並帶領撰寫技術文件與開發規範,提升資料使用效率與團隊協作品質。
資格條件
1. 具備紮實的 Python 工程能力,熟悉資料處理,並具備良好的軟體工程思維 ( 如模組化設計、設計模式 ) ,能撰寫可維護、可擴展的程式碼;具備大數據處理經驗 ( 如 Polars ) 者尤佳。
2. 具備系統與資料庫管理能力,熟悉 PostgreSQL 的效能調校 ( 如 Indexing、Partitioning ),並具備 Linux 系統操作與 Container 技術 ( Docker ) 實務經驗。
3. 具備良好的跨角色溝通能力,能理解工程與資料分析需求,並將需求轉化為穩定、可長期運作的系統架構與資料流程。
加分條件
1. 具備資料分析相關經驗,能理解分析流程、分析假設與使用情境,有助於設計更貼近實際分析需求的資料平台與 Data Marts。
2. 熟悉 Streamlit 或相關前端 / 視覺化框架,能協助維護與優化內部工程數據入口平台,理解資料從後端到使用者介面的呈現流程,提升資料平台的可用性與實際使用效率。
3. 熟悉現代數據堆疊 ( Modern Data Stack ) ,對資料管道與資料處理流程具備實際建置與優化經驗,包含 Airflow、Python/dbt 等相關工具。
4. 具備自動化與系統化思維,能將重複性作業轉化為穩定流程,並具備建立或導入 CI / CD Pipeline 的實際經驗,以確保開發與正式環境的一致性。
本職位以資料工程與分析平台建設為核心,負責打造穩定、可擴展且可維運的工程數據基礎設施,作為工程與研發團隊進行數據決策的關鍵支撐。透過提升資料管道品質、系統自動化與整體擴展性,使資料分析工程師與工程團隊能在一致且可信的數據基礎上,規模化地產出可靠洞見,而非仰賴零散的個人分析。
職務說明
1. 以工程與研發決策需求為出發點,盤點產品、製程與實驗相關數據來源,包含製造端與實驗室數據,定義資料整合範圍、資料流向與資料倉儲建設的優先順序。
2. 進行現有資料管道與平台架構的盤點與評估,主導 Airflow 與 dbt 的架構升級,從單純排程執行進化為具備自動化測試、資料品質檢查(Data Quality Check)與異常告警機制的穩定系統。
3. 規劃並優化資料處理流程,評估並導入 Polars、Numba 等高效能技術,以取代既有 Pandas 流程,因應資料量級成長並提升整體處理效能。
4. 設計並開發穩定的資料介接機制,包含以 Python 或其他合適工具建置與維護 Custom Connectors,將異質數據源整合至統一的資料倉儲架構中。
5. 負責資料相關基礎設施的維運與自動化,包含地端伺服器與資料庫(E.g. Nginx、PostgreSQL、NAS),並推動 CI/CD 流程,確保開發與正式環境的一致性,降低人工維護成本。
6. 與資料分析工程師與內部分析相關角色協作,建立結構清楚、定義一致的 Data Marts,並帶領撰寫技術文件與開發規範,提升資料使用效率與團隊協作品質。
資格條件
1. 具備紮實的 Python 工程能力,熟悉資料處理,並具備良好的軟體工程思維 ( 如模組化設計、設計模式 ) ,能撰寫可維護、可擴展的程式碼;具備大數據處理經驗 ( 如 Polars ) 者尤佳。
2. 具備系統與資料庫管理能力,熟悉 PostgreSQL 的效能調校 ( 如 Indexing、Partitioning ),並具備 Linux 系統操作與 Container 技術 ( Docker ) 實務經驗。
3. 具備良好的跨角色溝通能力,能理解工程與資料分析需求,並將需求轉化為穩定、可長期運作的系統架構與資料流程。
加分條件
1. 具備資料分析相關經驗,能理解分析流程、分析假設與使用情境,有助於設計更貼近實際分析需求的資料平台與 Data Marts。
2. 熟悉 Streamlit 或相關前端 / 視覺化框架,能協助維護與優化內部工程數據入口平台,理解資料從後端到使用者介面的呈現流程,提升資料平台的可用性與實際使用效率。
3. 熟悉現代數據堆疊 ( Modern Data Stack ) ,對資料管道與資料處理流程具備實際建置與優化經驗,包含 Airflow、Python/dbt 等相關工具。
4. 具備自動化與系統化思維,能將重複性作業轉化為穩定流程,並具備建立或導入 CI / CD Pipeline 的實際經驗,以確保開發與正式環境的一致性。
職務需求
工作經驗:3年以上
學歷限制:大學
學歷限制:大學
職位福利
休假制度:依公司規定
企業資訊
企業名稱
睿能創意股份有限公司
公司地址
台北市松山區長安東路二段225號C棟11樓
認同的鑑定項目