일괄 작업의 복잡한 파이프 라인을 빌드하는 데 도움이되는 파이썬 모듈
- 소프트웨어 : Luigi
- OS :
- 프로그래밍 언어 : Python
- 공식 웹사이트 : HOME
Luigi 상세
Luigi는 일괄직 작업의 복잡한 파이프 라인을 빌드하는 데 도움이되는 파이썬 (3.6, 3.7, 3.8, 3.9 테스트) 패키지입니다.그것은 종속 해상도, 워크 플로우 관리, 시각화, 처리 실패, 명령 줄 통합 등을 처리합니다.루이지의 목적은 일반적으로 장기간 일괄 처리와 관련된 모든 배관을 해결하는 것입니다.많은 작업을 연극하고, 자동화하고 실패가 발생합니다.이러한 작업은 아무 것도 없지만 일반적으로 Hadoop 작업과 같은 오랜 작업, 데이터베이스에서 데이터를 덤프하는 데이터베이스, 시스템 학습 알고리즘을 실행하거나 다른 것을 덤프합니다.원하는 모든 작업을 구축 할 수 있지만 Luigi에는 사용하는 몇 가지 공통 작업 템플릿의 도구 상자가 제공됩니다.Hadoop에서 Python MapReduce Jobs뿐만 아니라 하이브 및 돼지, 채용 정보를 지원하는 것이 포함됩니다.또한 HDFS에 대한 파일 시스템 추상화 및 모든 파일 시스템 작업이 원자로되는 로컬 파일이 제공됩니다.