AWS на русском

016. Что такое MLOps, а также как правильно выбрать инстанс для ML задач.

После очередного выпуска подкаста, слушатели предложили тему ML, а именно рассказать что такое MLOps и как правильно подбирать EC2 инстанс для ML задач.
Дима Лаптев (Solution Architect) подключился к обсуждению, и мы в деталях разобрали:
Что такое MLOps?
Из каких фаз строиться MLOps - какие шаги включены в CI/CD.
Как именно он связан с DevOps инженерами, и насколько глубоко надо знать ML, чтобы настроить MLOps на проекте.
Как реализовать MLOps в AWS.
MLOps настроен, готовы к продакшену, но какие машины лучше подходят для ML задач. Как правильно инстанс для ML нагрузок.
Полезные ссылки
Build MLOps workflows with Amazon SageMaker projects, GitLab, and GitLab pipelines
MLOps Workload Orchestrator Implementations
Amazon EC2 Instance Types
Amazon SageMaker Pricing - Machine Learning
 

015. Продолжаем говорить про AWS сертификацию

Николай Пойда community builder рассказал о своем опыте сдаче 8 сертификатов.
В этом выпуске вы узнаете:
Кто такой AWS community builder, какие требования к участникам и какие бенефиты программы
История Николая подготовки и сдачи 8-ми сертификатов. В каком порядке Николай сдавал, какие ресурсы использовал (все ссылки ниже).
Мотивация важный компонент в долгом путешествии в мир облачной сертификации. Что именно мотивировало Николая сдать столько сертификатов.
Поможет ли сертификация в карьере, на примере конкретного человека.
Все это и не только в нашем выпуске про сертификацию.
Полезные ссылки
Курс на DA AWS Certified Developer Associate 2022 - Stephane Maarek
AWS Certified Solutions Architect - Professional от Adrian Cantrill
Практические тесты по сертификации.
 

014. Защита веб приложений и как поможет AWS WAF и AWS Shield

Безопасность одна из важнейших задач для AWS, но стоить вопрос как именно защитить веб приложения. В этом выпуске мы подробно обсудили:
- От чего защищаемся? И что такое OWASP Top 10
- Защита сетевого периметра с использованием AWS Network Firewall и AWS Firewall Manager, Security Groups
- Что такое WAF?
- Как он работает.
- Какие WAF правила выбрать и как. На каком уровне модели OSI работает WAF, и каким сервисам можно его подключать.
- Где лучше включать WAF на уровне CDN (CloudFront) или на уровне ALB?
- Стоит ли защищать статический контент?
- Как часто клиенты пишут свои WAF правила? И что такое WCU, и сколько правил стоит применять для своего приложения.
- WAF и капча — как это работает.
- Защита от DDoS
- Шаг назад и разобрали что такое DoS и причем тут rate limiter
- Какие типы атак бывают DoS/DDoS
- Различие AWS Shield и AWS Shield Advanced.
- Еще рекомендации, что вы можете сделать, чтобы защититься от DDoS.
 
Полезные ссылки
- AWS WAF
- AWS Shield
- Automatic application layer DDoS mitigatio - reInvent2021
 
 

013. История построения на проекте DataLake -＞ DataMesh

В этом выпуске ребята из EPAM деляться опытом постороения Data Lake: от разрозненных источников данных к Data Lake и к Data Mesh: как AWS может помочь организации управлять данными.
· Место Data Lake в современной организации. Дата продукты и что из них готовят
· Что предлагает AWS: каждый кейс индивидуален
· DevOps: нетривиальные задачи – нетривиальные решения.
· Безопасность превыше всего: AWS LakeFormation
· Data Mesh как следующее звено эволюции использования данных
 
Ссылки
AWS Lake Formation Workshop
Lake Formation access for federated users
https://martinfowler.com/articles/data-monolith-to-mesh.html
Data-mesh approach using Lake Formation
https://aws.amazon.com/big-data/datalakes-and-analytics/what-is-a-data-lake/
https://ru.coursera.org/learn/introduction-to-designing-data-lakes-in-aws
 
 

012. А что новенького вышло в AWS с марта по апрель?

Новостной выпуск, говорим о последних релизах с марта по апрель.
Новые инстансы в AWS на базе AMD - C6a
Amazon RDS Multi-AZ теперь поддерживает две RO реплики.
Amazon Aurora Serverless v2 теперь в GA. Уточнение Amazon Aurora Serverless v2 - на текущий момент не поддерживает паузу, работает только с первой версией.
AWS Lambda Function URLs - поддержка встроенных HTTPS точек доступа для небольших микросервисов.
AWS Lambda теперь поддерживает до 10 ГБ временного хранилища.
AWS Fargate увеличение скорости масштабирование в 16 раз.
Amazon EKS теперь поддерживает Kubernetes 1.22, все детали этого обновления.
Таймкоды:
00:01:00 - Новые инстансы на базе AMD C6a
00:05:39 - Amazon RDS Multi-AZ
00:08:35 - Amazon Aurora Serverless v2
00:12:35 - AWS Lambda Function URLs
00:16:00 - AWS Lambda supports
00:18:50 - AWS Fargate
00:22:10 - Amazon EKS supports k8s 1.22
00:29:00 - Секция новости одной строкой.
Телеграм канал который был упомянут во время разговора - https://t.me/aws_notes
 

011. Все о AWS сертификации от Viktoria Semaan

AWS предлагает большое количество разнообразных сертификаций, начиная с простого погружения в базовые знания облачных технологий, заканчивая сложными сертификатами уровня Pro (например, AWS Solution Architect Professional). Также существует множество сертификаций с узкой специализацией - базы данных, сети, безопасность и пр. Но стоит ли тратить свое время на подготовку и сдачу сертификатов в 2022-ом году? Какова их ценность и влияет ли прохождение сертификации на повышение уровня вашей экспертизы? Наша гостья Viktoria Semaan помогла разобраться с вопросами:
Нужны ли сертификаты в 2022-ом году?
Как часто работодатели обращают внимание на наличие сертификатов у кандидата?
Стоит ли проходить сертификацию, если нет практического опыта?
Как будет отличаться уровень сертификации Associate level vs Professional AWS Certified Solutions Architect – Associate Certification and AWS Certified Solutions Architect - Professional Certification
Сертификаций много - в каком порядке правильно их сдавать?
Как готовиться к сертификации?
Таймкоды:
00:00:28 - Viktoria Semaan в гостях
00:01:35 - Виктория сдала 3 сертификата за 6 недель
00:05:06 - Нужны ли сертификаты в 2022-ом году?
00:14:35 - Как часто работодатели обращают внимание на наличие сертификатов у кандидата?
00:18:05 - Стоит ли проходить сертификацию, если нет практического опыта?
00:22:15 - Сертификаций много - в каком порядке правильно их сдавать?
00:25:55 - Как будет отличаться уровень сертификации Associate level vs Professional
00:31:33 - Как готовиться к сертификации?
00:36:09 - Стоит ли смотреть на примеры вопросов?
Ссылки
Профиль Viktoria Semaan
Посты от Viktoria Semaan:
AWS Developer Associate Certification
AWS Solutions Architect Professional
Free AWS Training and Certification vouchers for women!
AWS Cloud Quest: Cloud Practitioner (game)
Официальные бесплатные курсы
Бесплатные программы для женщин
https://awsshebuildscloudupcpe.splashthat.com/
https://awsshebuildscloudupsaa.splashthat.com/
Как получить практический опыт:
https://workshops.aws/
https://www.wellarchitectedlabs.com/
https://awsworkshop.io/

010. Миграция аналитики видео платформы из on-prem в Amazon EMR

Сегодня у нас в гостях Сергей Поздняков (Lead Systems Engineer, EPAM), поделился историей как мигрировали аналитику видео платформы на 105Tb данных в Amazon EMR. Рассказал почему решили мигрировать, с какими особенностями столкнулись в процессе миграции, архитектуру решения, почему использовали множество Amazon EMR кластеров, а не один большой. Какие инструменты и подходы использовали для миграции и развертывания инфрастуктуры. А также поделился опытом реализации MapReduce на базе Jenkins-a.
Таймкоды: 00:00:27 - Гость Сергей Поздняков Lead Systems Engineer, EPAM
00:01:47 - Что мигрировали и почему
00:08:25 - С чего начинали миграцию
00:12:23 - Не удачная структура хранения данных
00:15:50 - MapReduce с помощью Jenkins-а
00:20:00 - Проблемы при миграции
00:22:33 - Почему множество Amazon EMR кластеров
00:26:33 - Что сделал бы сейчас по другому
00:29:40 - Инструменты для создания инфраструктуры
00:34:00 - Советы для другихСсылки
Архитектурные разговоры - EMR + Glue + Lambda
 

009. Все о Serverless в AWS

В этом эпизоде мы поговорили про Serverless сервисы в AWS. Мы рассказали об основных сервисах таких как AWS Lambda, API Gateway, EventBridge, SNS, SQS, StepFunctions и как они помогут вам при создании новых микросервисных, event-driven приложений. Рассмотрели типичные сценарии использования этих сервисов и рассказали о лучших практиках их использования, как построить CI/CD для ваших лямбд. Также упомянули некоторые случаи, когда Serverless будет не лучшим вариантом. Таймкоды: 00:00:24 - Рома Бойко в гостях 00:02:28 - Почему serverless00:07:20 - 4 характеристики serverless 00:09:05 - Cписок serverless сервисов в AWS00:12:00 - Основные use-cases 00:16:23 - Как построить CI/CD для serverless00:22:20 - Ограничения Lambda00:24:30 - AWS Lambda power tuning00:28:43 - Разогрев Lambda функцийСсылки
Best practices of advanced serverless developers
AWS Lambda power tuning
 

008. Анонсы за январь и февраль 2022

Анонсы в AWS идут каждый день, и чтобы оставаться в курсе последних новинок мы добавляем отдельную категорию - новостные выпуски.Обсудили следующие новинки:
Guard Duty - теперь обнаруживает когда профиль EC2 инстанса, используется в другом AWS аккаунте. А также можно подключать Guard Duty к вашему Kubernetes EKS кластеру.
Amazon VPC теперь поддерживает управляемый AWS список префиксов для Amazon CloudFront
App Runner теперь поддерживает VPC
Репликация существующих объектов с помощью batch репликации Amazon S3
Amazon DocumentDB (с совместимостью с MongoDB) добавляет дополнительные возможности геопространственных запросов
Таймкоды:00:01:10 - Guard Duty 00:10:55 - AWS-managed prefix list for Amazon CloudFront00:13:58 - App Runner – VPC Support00:19:10 - Replicate Existing Objects with Amazon S3 Batch Replication00:22:35 - Mocking service integrations with AWS Step Functions Local00:26:40 - Новости одной строкойСсылки
Guard Duty: Instance Credentials, EKS
AWS-managed prefix list for Amazon CloudFront
App Runner – VPC Support
Mocking service integrations with AWS Step Functions Local
 

007. Все о сетях в AWS, устроена опорная (backbone).

Как и обещал в этом выпуске у нас гость из Австралии, Евгений Ваганов Head of Networking SA в APJ. Рассказал как про особенности региона, как устроена опорная сеть в AWS. Почему мы используем свое железо и софт для работы сети. Особенности работы SRD (Scalable Reliable Datagram) протокола. И какие тренды в сетях в 2022-ом году.
Таймкоды: 00:00:24 - Представления Евгения 00:03:40 - Особенность APJ региона00:10:05 - Услуги сети в AWS00:15:03 - Опорная сеть AWS00:19:00 - AWS hardware для сети00:26:02 - SRD (Scalable Reliable Datagram) протокол00:31:23 - Тренды в сетяхСсылки
Linkedin Евгения
Больше о AWS Networking
Networking & Content Delivery blogs (English)
AWS Nitro System
SRD (Scalable Reliable Datagram) протокол и его использование в AWS