
عنوان:
Data Engineering Design Patterns
نویسنده:
Bartosz Konieczny
انتشارات:
O'Reilly Media, Inc
تاریخ انتشار
2025
حجم:
8.6MB
معرفی کتاب:"الگوهای طراحی مهندسی داده: راهکارهایی برای حل رایجترین مسائل مهندسی داده"
پروژههای داده، ستون فقرات بسیاری از تصمیمگیریهای تجاری هستند. اما چرا بسیاری از مهندسان داده همچنان با مشکلاتی تکراری دستوپنجه نرم میکنند؟ کتاب الگوهای طراحی مهندسی داده، نوشته بارتوش کُنیتسنی، به شما کمک میکند با رویکردی اصولی و مبتنی بر الگو، سیستمهای دادهای مقیاسپذیر، مطمئن و بهینه بسازید.
مخاطب این کتاب:
مهندسان داده، معماران داده، توسعهدهندگان پلتفرم و هر کسی که در پروژههای دادهای درگیر طراحی، ساخت یا نگهداری سیستمهاست.
آنچه در این کتاب خواهید آموخت:
- الگوهای طراحی برای حل مشکلات رایج مهندسی داده در دنیای واقعی
- پیادهسازی راهحلها با استفاده از ابزارهای متنباز و خدمات ابری عمومی
- درک چالشهایی مانند کیفیت داده، ایدمپوتنت بودن، ورود داده، پایش و نظارت (observability)
- ارائه راهکارهایی مستقل از فناوری، برای پروژههای جدید یا بهبود سیستمهای فعلی
- مدیریت منابع ذخیرهسازی با رویکردی بهینه و قابلاعتماد
ویژگیهای متمایز این کتاب:
- ارائه سناریوهای واقعی و کاربردی همراه با پیامدها و تصمیمات طراحی
- پوشش همزمان سیستمهای پردازش batch و stream
- مناسب برای سازمانهایی با زیرساختهای دادهی بزرگ یا در حال رشد
- نویسندهای با سابقه عملیاتی قوی در مهندسی داده از سال ۲۰۱۰
درباره نویسنده:
بارتوش کُنیتسنی یک مهندس دادهی مستقل با تجربهای گسترده در پروژههای پردازش داده دستهای و جریانی است. او در نقشهای ارشد مختلف، با چالشهای گوناگون دنیای واقعی مواجه شده و اکنون تجربهی خود را در این راهنمای جامع به اشتراک میگذارد.
چرا باید این کتاب را بخوانید؟
اگر بهدنبال ساخت سیستمهای دادهای پایدار، مقیاسپذیر و قابلاعتماد هستید، این کتاب یک نقشهی راه عملی و مؤثر در اختیار شما قرار میدهد. با تسلط بر الگوهای ارائهشده، میتوانید پروژههای دادهای پیچیده را با اطمینان طراحی و پیادهسازی کنید.
فهرست مطالب
- Preface
- Chapter 1. Introducing Data Engineering Design Patterns
- What Are Design Patterns?
- Yet More Design Patterns?
- Common Data Engineering Patterns
- Case Study Used in This Book
- Summary
- Chapter 2. Data Ingestion Design Patterns
- Full Load
- Incremental Load
- Replication
- Data Compaction
- Data Readiness
- Event Driven
- Summary
- Chapter 3. Error Management Design Patterns
- Unprocessable Records
- Duplicated Records
- Late Data
- Filtering
- Fault Tolerance
- Summary
- Chapter 4. Idempotency Design Patterns
- Overwriting
- Updates
- Database
- Immutable Dataset
- Summary
- Chapter 5. Data Value Design Patterns
- Data Enrichment
- Data Decoration
- Data Aggregation
- Sessionization
- Data Ordering
- Summary
- Chapter 6. Data Flow Design Patterns
- Sequence
- Fan-In
- Fan-Out
- Orchestration
- Summary
- Chapter 7. Data Security Design Patterns
- Data Removal
- Access Control
- Data Protection
- Connectivity
- Summary
- Chapter 8. Data Storage Design Patterns
- Partitioning
- Records Organization
- Read Performance Optimization
- Data Representation
- Summary
- Chapter 9. Data Quality Design Patterns
- Quality Enforcement
- Schema Consistency
- Quality Observation
- Summary
- Chapter 10. Data Observability Design Patterns
- Data Detectors
- Time Detectors
- Data Lineage
- Summary
- Afterword
- Appendix. Summary of Patterns
- Index
- About the Author
مشخصات
نام کتاب
Data Engineering Design Patterns
نویسنده
Bartosz Konieczny
انتشارات
O'Reilly Media, Inc
تاریخ انتشار
2025
ISBN
9781098165819
تعداد صفحات
493
زبان
انگلیسی
فرمت
حجم
8.6MB
موضوع
Data Engineering