ที่ใดมีการใช้งาน ที่นั่นมีข้อมูล

ที่ใดมีข้อมูล ที่นั่นเสมือนมีขุมทรัพย์อยู่อีกมาก

สวัสดีครับผู้อ่านทุกท่าน ผมชื่อพีทนะครับ เป็น Data Engineer ที่ THiNKNET ครับ ชื่อตำแหน่งของพีทอาจจะดูไม่คุ้นกันเท่าไหร่ เพราะเป็นตำแหน่งที่เพิ่งจะมีในไทยมาเมื่อไม่นานครับ แต่ด้วยปริมาณข้อมูลที่มีมากขึ้นทุกวัน ประกอบกับลักษณะความต้องการใช้ข้อมูลในปัจจุบัน ไม่ว่าจะเพื่อนำไปวิเคราะห์ หรือนำไปพัฒนาโปรแกรมให้มีความฉลาดมากขึ้น (AI) จึงทำให้ต้องมีการบริหารและจัดเก็บข้อมูลอย่างเป็นระบบ ก็เลยทำให้ความต้องการของตำแหน่ง Data Engineer มีมากขึ้นเรื่อย ๆ ครับ 

ทำความรู้จักตำแหน่งนี้กันก่อน

Data Engineer แปลเป็นไทยคือวิศวกรข้อมูล หน้าที่ของตำแหน่งนี้หลัก ๆ คือสร้าง/ออกแบบ/ดูแลกระบวนการ ETL (Extract-Transform-Load) ซึ่งเป็นกระบวนการดึงข้อมูลจากแหล่งต่าง ๆ มาปรับโครงสร้างให้เหมาะสม และจัดเก็บไว้ในรูปแบบที่พร้อมนำไปใช้งานในด้านการวิเคราะห์ข้อมูล หรือนำไปสร้าง Machine Learning เพื่อให้ระบบมีความฉลาดมากขึ้นต่อไป

นอกจากนี้ยังมีหน้าที่พัฒนา, ออกแบบคลังเก็บข้อมูล (เช่น Data Lake, Data Warehouse) ร่วมกับทางทีม Developer (Dev) และทีม Business Analysis (BA) เช่นทางทีม BA มี Requirement ว่าอยากทราบสถิติต่าง ๆ จากจุดนั้นจุดนี้ ทางทีม Dev ก็จะเป็นคนเพิ่มโค้ดเพื่อเก็บข้อมูลให้ ซึ่ง Data Engineer ก็จะต้องไปดึงข้อมูลจากแหล่งต่าง ๆ ที่ทางทีม Dev เก็บไว้ มาเขียน Script เพื่อทำการแปลงและเชื่อมข้อมูลเข้าหากัน เพื่อให้สามารถเก็บข้อมูลอยู่ในแหล่งเดียวกันและพร้อมสำหรับให้ทีม BA นำไปใช้งานได้ ถ้าถามว่าเราอยู่ตรงไหนในกระบวนการพัฒนาซอฟต์แวร์ ก็ต้องตอบว่าเราเหมือนคนดูแลหลังบ้าน โดยนำข้อมูลจากหลาย ๆ ที่มาประมวลผลร่วมกัน เพื่อให้ได้ผลลัพธ์ที่ฝั่ง Business จะนำข้อมูลเหล่านี้ไปวิเคราะห์ต่อได้ เหมือนคล้าย ๆ ช่างภาพที่นำ RAW File มาปรับตกแต่งให้ได้ภาพที่พร้อมใช้งานเก็บไว้ในคลังนั่นเอง

รู้จักกันมากขึ้นแล้ว ต่อไปพีทจะขอแนะนำเกี่ยวกับ Technology Stack ต่าง ๆ ที่ใช้ในตำแหน่ง Data Engineer นะครับ

• Python: เป็นภาษาที่นิยมใช้สำหรับการเขียน Script ต่าง ๆ ทางด้าน Data

• Argo/Prefect: เป็นเครื่องมือที่ใช้ในการทำ Pipeline เพื่อควบคุมกระบวนการ ETL

• Docker/Kubernetes: เป็น Tools สำหรับใช้ในการ Deploy และ Run Script

• Cloud Storage/Computing: สำหรับจัดเก็บและประมวลผลข้อมูลปริมาณมาก เช่น AWS S3, Google Cloud Storage, Google Bigquery เป็นต้น

สังเกตว่า Skill set ของทางฝั่งเราจะค่อนข้างแตกต่างจาก Software Engineer เนื่องจากเราจะไม่มีเรื่องของการทำหน้า UI หรือการทำ API Service พวกนี้เท่าไรครับ เป็นงานประมวลผลหลังบ้านกันล้วน ๆ ภาษาและเทคโนโลยีที่ใช้ จึงจะค่อนข้างแตกต่างกันชัดเจนครับ แต่ว่าใครที่ไม่เคยใช้เทคโนโลยีพวกนี้มาเลยก็ไม่เป็นไรนะครับ ทุกอย่างเรียนรู้ได้ ขอแค่มีพื้นฐานในการเขียนโค้ด ไม่ว่าจะภาษาอะไร สามารถนำมาประยุกต์ใช้ได้ มีความรู้จากมุมอื่นมาแชร์กัน ที่ THINKNET พร้อมดูแลและเทรนให้อย่างเต็มที่ครับ เพราะต้องบอกว่า ตัวพีทเองก็ย้ายมาจากการเป็น Software Engineer เหมือนกัน ตอนเข้าทีมมาคือยังเขียน Python ไม่เป็นแม้แต่ตัวเดียวด้วยซ้ำครับ แต่ตอนนี้ก็สามารถทำอะไรหลายอย่างที่กล่าวไปข้างต้นได้หมดแล้วครับผม

สำหรับใครที่ทำงานในตำแหน่ง Data Engineer จนคล่องมือแล้ว อยากจะเติบโตไปสายงานที่ใหญ่ขึ้นบ้าง ก่อนอื่นพีทขอแนะนำให้รู้จักกับตำแหน่งใกล้เคียงกับเราก่อนครับ

1. Data Analyst - เป็นตำแหน่งที่ทำหน้าที่วิเคราะห์ข้อมูลโดยตรง มักนำข้อมูลที่ Data Engineer ทำ ETL แล้วมาวิเคราะห์ และนำข้อมูลที่น่าสนใจไปแสดงผลโดยใช้ Tools เช่น Tableau, Looker Studio สำหรับใครที่มีความสามารถในเรื่องของการ Present, นำเสนอ Idea, ชอบวิเคราะห์หาข้อมูลที่น่าสนใจก็อาจจะเรียนรู้งานทางสายนี้เพิ่มเติมได้ 

2. Data Scientist - เป็นตำแหน่งที่ทำหน้าที่สร้างโมเดลต่าง ๆ โดยใช้ความรู้ทางด้าน Machine Learning เพื่อให้สามารถสร้างโมเดลที่ต้องการได้ เช่น ใช้เทคโนโลยี Face Recognition สร้างโมเดลสำหรับสแกนหน้าพนักงานในบริษัท หรือใช้เทคโนโลยี Text Classification สร้างโมเดลแยกประเภทเอกสารตาม Content ในไฟล์ ส่วนนี้ก็จะทำให้กระบวนการขั้นตอนต่าง ๆ สามารถทำได้ไวขึ้น แต่ทั้งนี้ข้อมูลตั้งต้นที่ Clean มาแล้ว ก็จะมาจาก Data Engineer นั่นเอง

ซึ่งจาก 2 ตำแหน่งใกล้เคียงที่กล่าวมา หากใครมี Skill ด้าน Data Analyst เมื่อนำมาผสมรวมกับ Data Engineer ก็อาจจะได้ก้าวไปสู่ตำแหน่ง Role ที่เรียกว่า Data Platform Engineer ซึ่งก็จะเชี่ยวชาญตั้งแต่การดึงข้อมูลจากแหล่งต่าง ๆ มาจนจบถึงการสามารถวิเคราะห์หาข้อมูลสำคัญได้ด้วยตนเอง หรือหากใครชอบแนวทาง Data Scientist มากกว่า เมื่อผสม Skill กับด้าน Data Engineer ก็อาจจะได้เป็น MLOps Engineer ทำหน้าที่ตั้งแต่กวาดข้อมูลจนถึง Build Model ขึ้นมาได้ และสุดท้ายหากใครมีความสามารถที่รวม Skill ทั้ง 3 ด้านนี้เข้ามาได้ ก็จะได้เป็น Technical Specialist ด้าน Data ดูแลเรื่องของข้อมูลทุกอย่างในองค์กรครับ

ทำงานจากที่ไหนก็ได้ ทำได้จริงที่ THiNKNET

ด้วยความที่พีททำงานที่ THiNKNET มาก็เกือบ 7 ปีแล้ว ต้องขอเล่าอย่างนี้ก่อนเลยครับ เมื่อก่อนบริษัทเราก็เป็นแบบออฟฟิศทั่วไปนี่แหละครับ คือเข้ามาทำงานกันที่บริษัท เข้า 9 โมงเช้า เลิก 6 โมงเย็น แต่แผนกของเรา (Engineer) จะพิเศษกว่าที่อื่นนิดนึงตรงที่เมื่อผ่านทดลองงานแล้ว จะสามารถทำงานแบบ “FlexHour” ได้ครับ กล่าวคือ เราจะมี Core Time ที่ 10:00-16:00 น. นอกเหนือจากนั้นจะเป็นเวลาอิสระของเราเลยครับ จะมาเข้างานก่อนก็ได้ หรือจะเลิกงานหลังจากนั้นก็ได้ หรือวันไหนจะมาถึงตอน 10 โมง แต่ออก 4 โมงเย็นก็ทำได้เช่นกันครับ ขอเพียงแค่ให้ชั่วโมงทำงานต่อสัปดาห์ “ครบ 40 ชั่วโมง” เท่านั้น ที่เหลือเราสามารถบริหารเวลาได้อย่างอิสระเลยครับ ซึ่งนี่เป็นสิ่งที่ทาง THiNKNET มีให้มาแต่ไหนแต่ไรแล้ว

“COVID-19 เข้ามา รูปแบบการทำงานก็เปลี่ยนไป” เช่นกันกับหลายบริษัทครับ ที่มีช่วงนึงที่เราได้ #WorkFromHome กัน แต่ว่าเราไม่ได้จำกัดแค่นั้น เมื่อ Work from Home ไม่ได้สะดวกสำหรับทุกคน ก็เริ่มมีคนที่ #WorkFromCafe บ้าง #WorkFromAirport บ้าง ซึ่งหลังจากผ่านมาสักพัก ก็พบว่าไม่ได้ส่งผลอะไรต่องาน นโยบายของบริษัทจึงเปลี่ยนไป กลายเป็นสามารถให้ #WorkFromAnywhere แล้วยังคงเรื่องของ FlexHour ไว้ด้วยครับ

พอลักษณะการทำงานของเราเปลี่ยนไปแบบนี้ แน่นอนครับว่า จากทีมที่เราเคยเจอหน้ากันทุกวัน จากทีมที่เคยกินข้าวด้วยกันตลอด ก็ต้องมีการปรับตัว อย่างทีมผมเมื่อทุกคนย้ายไป Work from Anywhere แล้ว ก็ยังมีการเปิด Discord ไว้คุยเรียกหากันได้ตลอด หรือตอนเช้าก็ยังมีการทำ Daily แบบเปิดกล้องที่ทำให้ได้เห็นหน้าทักทายกันบ้าง อีกทั้งยังมีการนัดเจอกันที่ออฟฟิศทุกเดือน เพื่อจะได้กินข้าวแบบเจอหน้ากันเหมือนเดิมด้วยครับ โดยรวมแล้วก็ยังสามารถพูดคุย ทำงานกันได้เหมือนเดิม แต่จะมีงง ๆ กันบ้างก็ตอนที่ต้องเขียนแปลนหรือวาดรูปแล้วคิดร่วมกัน ก็จะมีการนัดกันเข้าออฟฟิศ โดยจะรวมปัญหาเรื่องอื่น ๆ ที่ติดค้างมาคุยกันในวันนั้นให้จบไป ส่วนการคุยกับทีมอื่น ปกติก็จะเป็นการพบกันตาม Meeting อยู่แล้ว จากเดิมที่ออฟฟิศก็เจอหน้ากันเป็นพัก ๆ ไม่ได้เจอกันตลอด อันนี้ก็รู้สึกไม่ได้กระทบอะไรเท่าไหร่ เพราะเราทำงานบน Cloud กันแต่แรกอยู่แล้วครับ

มาเป็น Data Engineer กัน!

อ่านมาถึงตรงนี้แล้ว หวังว่าท่านผู้อ่านจะมีความสนใจและเข้าใจงานในตำแหน่ง Data Engineer มากขึ้นนะครับ และถ้าหากสนใจมาเป็น Data Engineer ที่ THiNKNET แล้ว การเตรียมตัวนั้นไม่ยากเลยครับ เพียงแค่ลับฝีมือเรื่อง Coding สักนิดและก็ฝึกเขียน Query ให้คล่องสักหน่อย พื้นฐานเท่านี้เพียงพอแล้วครับ และเมื่อพร้อมแล้วก็สามารถสมัครได้ ที่นี่

แล้วพบกันที่ THiNKNET นะครับ :)

ทำความรู้จักตำแหน่งอื่น ๆ ใน THiNKNET ทั้งหมดได้ ที่นี่