Airflow Là Gì

Airflow, một xuất phát mối cung cấp mnghỉ ngơi, được sử dụng để thu xếp đầy đủ luồng việc có tác dụng bên dưới dạng biểu vật dụng chu kỳ theo hướng (DAG) của rất nhiều tác vụ theo thủ tục lập trình sẵn. Một lịch trình luồng không khí được áp dụng bỏ lên trên lịch phần đa quy trình bài toán làm cho và mặt đường ống cách xử lý dữ liệu. Giao diện người tiêu dùng Airflow được phnghiền dễ dãi tưởng tượng rất nhiều con đường ống chạy vào môi trường thiên nhiên bao bọc tiếp tế, đo lường quy trình của các bước vấn đề làm cho cùng xử lý sự nỗ lực khi yêu cầu. Những app mẫu lệnh nhiều chủng loại được sử dụng để tiến hành đầy đủ ca phẫu thuật mổ xoang tinh vi bên trên DAG.

Bạn đang xem: Airflow là gì

Bài Viết: Airflow là gì

Trong blog này, hãy bàn thảo về lập kế hoạch với triển khai đông đảo việc có tác dụng Talend với Airflow.


Nội Dung

2 Ca sử dụng6 Gigiết hại vấn đề làm7 Hồ sơ dữ liệu

Trường phù hợp tiên quyết

Luồng khí 1.7 trlàm việc lên Pybé 2.7 Studio mở Talend (Tích hợp tài liệu khổng lồ hoặc dữ liệu)

Ca sử dụng

Lập định kỳ với thực hiện những Việc làm cho Talover ETL cùng với Airflow.

Tóm tắc

Tác giả Talkết thúc Việc làm cho Lịch trình câu hỏi có tác dụng Talover Gigiết hại tiến trình vấn đề làm trong Web UI

Mô tả bài toán làm

Việc làm Talend ETL được tạo nên bởi:

Tđắm say gia application_id từ applicant_loan_info và loan_info như bộc lộ trong sơ thiết bị dưới đây:


*

*

Đang cài đặt tài liệu trùng khớp vào loan_application_analysis bảng. Dùng một bộ lọc trên LoanDecisionType ngành nghề vào  đầy đủ loan_application_analysis bảng để cô lập phần đông quý giá nhỏng Approved , bị trường đoản cú chối , và bị thu hồi . Dùng một cỗ thanh lọc khác bên trên hồ hết giá trị được tách riêng làm việc trên để tách bóc riêng LoanType thành Cá nhân , Tự động , Tín dụng với Nhà .

Việc làm cho Talend đã tạo ra thành lập và dịch chuyển mang đến địa điểm sever. Một DAG với tên Loan_Application_Analysis.py được tạo thành cùng với đường truyền tương ứng của những tập lệnh để tiến hành luồng theo thử dùng.


Tạo thư mục DAG với khởi động lại sever website luồng ko khí

Sau khi thiết đặt Airflow, hãy thực hiện như sau:

Tạo thỏng mục DAG ( / trang chủ / ubfox / airflow / dags ) trong băng thông Airflow. Di đưa tất cả phần đa .py tập tin vào thỏng mục DAG. Khởi hễ lại máy chủ website Airflow bằng mã dưới đây để thấy DAG này vào list UI: Loginto lớn the AIRFLOW_HOME path– eg.(/home/ubuntu/airflow) To restart webVPS —> airflow webhệ thống To restart scheduler —> airflow scheduler

Sau lúc khởi đụng lại sever website, toàn bộ .py những tệp hoặc DAG vào tlỗi mục sẽ được tmê man chiếu và thiết lập vào danh sách DAG UI website.

Lập chiến lược vấn đề làm

Những bài toán có tác dụng Talkết thúc đã tạo rất có thể được lên lịch bởi phương thức áp dụng cỗ lập kế hoạch Airflow. Để biết mã, xem phần Tài liệu tham mê khảo .

Lưu ý : Việc làm có thể được kích hoạt thủ công bằng tay bình cách thức nhấp vào nút Run dưới cột Liên kết nlỗi hình bên dưới đây:


*

Cả hai vấn đề làm được lên định kỳ auto cùng được kích hoạt bằng tay có thể được coi như vào đồ họa người mua nlỗi sau:


*

Gisát hại việc làm

khi thực hiện hầu như việc có tác dụng, đầy đủ quy trình ngược mẫu hoặc xuôi loại sẽ tiến hành bắt đầu như được sinh sản vào DAG. khi nhấp vào trong 1 DAG ví dụ, trạng thái tương xứng như thành công xuất sắc, thất bại, thử lại, xếp hàng, v.v. của câu hỏi làm cho rất có thể được tưởng tượng theo mọi cách làm khác nhau trong giao diện người mua.


Xem biểu đồ

Những trạng thái của không ít việc làm cho được biểu hiện dưới dạng giao diện nlỗi dưới đây:


*

Chế độ xem cây

Những tâm lý của không ít bài toán làm tuy nhiên song cùng với ngày tiến hành của không ít vấn đề làm được diễn tả dưới dạng câgiống hệt như dưới đây:


Xem Gannt

Những tinh thần của không ít vấn đề làm tuy nhiên song cùng với ngày triển khai của các vấn đề làm cho được trình bày theo định dạng Gannt nhỏng bên dưới đây:


Xem thời lượng tác vụ

lúc nhấp vào tab Thời lượng tác vụ , chúng ta cũng có thể coi thời lượng tác vụ của cục bộ quá trình hoặc DAG theo định dạng giao diện như bên dưới đây:


Xem ngôi trường thích hợp nhiệm vụ

Bằng thủ tục nhấp vào Duyệt > Trường hợp tác ký kết vụ , chúng ta có thể xem hồ hết trường đúng theo cơ mà mọi tác vụ đang chạy, như được hiển thị dưới:


Xem vấn đề làm

Bằng cách thức nhấp vào Duyệt > Việc làm , chúng ta cũng có thể xem cụ thể như thời gian ban đầu, thời gian hoàn thành với người thực hiện câu hỏi làm cho, nhỏng được hiển thị vào sơ thiết bị dưới:


Xem nhật ký

Bằng cách làm nhấp vào Duyệt > ViewLog , bạn có thể xem rõ ràng của nhật ký, nhỏng được hiển thị trong sơ đồ vật dưới:


Hồ sơ dữ liệu

Airflow đáp ứng nhu cầu bối cảnh truy vấn Squốc lộ dễ dàng và đơn giản để tầm nã vấn dữ liệu với giao diện người tiêu dùng biểu đồ gia dụng nhằm trực quan liêu hóa đa số tác vụ.

Xem thêm: Tiểu Sử Vũ Ngọc Hoàng : "Bộ Chính Trị Đề Nghị Để Một Người Làm Tổng Bí Thư"

Để cấu hình dữ liệu của khách hàng, nhấp vào Quản trị viên > Kết nối nhằm chọn các loại liên kết đại lý dữ liệu, nlỗi được hiển thị vào sơ thiết bị dưới:


Truy vấn Ad Hoc

Để viết với truy vấn dữ liệu, nhấp vào Hồ sơ dữ liệu > Truy vấn quảng cáo .


Biểu đồ

Những loại trực quan liêu hóa khác nhau rất có thể được tạo nên thời gian tác vụ cùng tâm trạng trách nhiệm bởi biểu thứ.


Để sản xuất đa số biểu thứ như tkhô cứng, đường, khu vực, v.v. cho 1 DAG rõ ràng bằng truy tìm vấn SQL, nhấp vào Cấu hình dữ liệu > Biểu đồ > DAG_id , nhỏng được hiển thị trong sơ thiết bị dưới:


Tất cả đầy đủ DAG được biểu hiện bởi đồ họa, nhỏng biểu hiện trong sơ vật dụng dưới đây:


thông báo hiện có email

Thông báo qua tin nhắn như email_on_failure, email_on_successvà email_on_retries có thể được đặt để hiểu tinh thần câu hỏi làm cho.

Để nhảy thông báo, hãy tiến hành nlỗi sau:

Định thông số kỹ thuật cài đặt trong airflow.cfg tệp trong airflow_home đường dẫn, nhỏng hiển thị dưới:


Đặt lại thiết đặt gmail của người sử dụng thành thiết lập Gmail >  allow_less safe_apps > ON để nhấn thông báo qua tin nhắn tự Airflow.

Lưu ý : Quý khách hàng cũng có thể nhận được authentication_error giả dụ thiết lập tin nhắn ko được cấu hình đúng. Để khắc phục sự cố gắng này, hãy đồng ý thứ đăng nhập làm cho thiết bị của chúng tôi trong trang bị Gmail coi xétCó Đó là Tôi .

Một tin nhắn thua cuộc vấn đề làm được hiển thị bên dưới đây:


lúc nhấp vào Liên kết vào gmail, các bạn sẽ được đưa đào bới trang Nhật cam kết.

Phần kết luận

Trong blog này, Shop chúng tôi đã thảo luận về người sáng tác, lập định kỳ cùng thống kê giám sát các bước bài toán làm cho tự hình ảnh người tiêu dùng website, cũng giống như kích hoạt hồ hết việc có tác dụng Talend trực tiếp từ bỏ giao diện người mua website theo thử khám phá bằng cách thức sử dụng bash tân oán tử. Bạn cũng rất có thể chuyển tài liệu trường đoản cú cửa hàng tài liệu này lịch sự cửa hàng dữ liệu không giống bởi generic_transfer toán thù tử.

Tài liệu tsi khảo

Mã trong GitHub

Thể Loại: Chia sẻ Kiến Thức Cộng Đồng


Bài Viết: Airflow Là Gì – Apabít Airflow

Thể Loại: LÀ GÌ

Nguồn Blog là gì: https://bloginar.net Airflow Là Gì – Apache Airflow


Related


About The Author
Là GìE-Mail Author

Leave a Reply Hủy

Lưu thương hiệu của tôi, email, và website trong trình coi ngó này đến lần bình luận tiếp đến của tôi.


Tìm kiếm
Tìm kiếm

Bài viết mới


Phản hồi gần đây


Không có bình luận làm sao nhằm hiển thị.

Lưu trữ


Chulặng mục