อาชีพ Data Engineer จะมีหน้าที่บริหารข้อมูลทั้งองค์กร หรือที่เรียกว่า Data Management
การทำ Data Management คือการออกแบบ Data Pipeline ดูความไหลเวียนของข้อมูล วางโครงสร้างในการสร้างระบบของข้อมูล ที่สำคัญที่สุดคือการเชื่อมโยงข้อมูลและหรับให้พร้อมใช้
ทุกวันนี้ข้อมูลมากจากแหล่งที่มาที่หลากหลาย ข้อมูลทั้งหมดจะถูกนำมาเชื่อมกันที่ Data Lake ใน Data Lake จะเก็บข้อมูลแบบดิบ ๆ ในการนำไปใช้ประโยชน์อาจจะยากนิดนึง ข้อมูลพวกนี้จะต้องถูกนำมาปรับโครงสร้างเสียก่อน ซึ่งจะเป็นหน้าที่ของ Data Engineer
เรามักจะลืม Data Engineer เพราะว่าเรามองถึงการนำผลลัพธ์ไปใช้เสียมากกว่า และต้องการนำข้อมูลนี้ไปวิเคราะห์เชิงลึก ลองคิดกลับกัน ถ้าเราไม่มีการปรับโครงสร้างของข้อมูล ไม่มีการเชื่อมโยงข้อมูล ทรัพยากรที่เรามีก็จะถือเป็นทรัพยากรที่มีความซับซ้อนวุ่นวาย อาจจะไม่สามารถที่จะนำไปวิเคราะห์ได้ด้วยซ้ำไป
ก่อนที่จะมี Data Scientist และ Data Analyst คนที่วิเคราะห์ข้อมูล และแสดงผลลัพธ์ ลองมองย้อนกลับมา ตอนนี้ระบบข้อมูลของเราเรียบร้อยแล้วหรือยัง ถ้ายัง Data Engineer คือคนแรก ที่คุณต้องมองหา
