AWS на русском

В новом выпуске подкаста “AWS на русском” мы с Михаилом (Principal Solutions Architect) обсудим последние новости и обновления из мира AWS. Поделимся впечатлениями от недавних поездок и мероприятий, а также поговорим о новых функциях и сервисах, которые помогут вам в работе.
Что обсудили в выпуске:
Amazon WorkSpaces Pools: Эффективное решение для виртуальных рабочих столов.
Мы обсудим не только эту функцию, но и общий подход к удаленной разработке, включая VDI и CodeCatalyst с девелопмент-энвайронментами.
Amazon CodeCatalyst: Теперь поддерживает репозитории GitLab и Bitbucket, с кастомными блюпринтами и функцией Amazon Q для разработки
Anthropic’s Claude 3.5 Sonnet модель в Amazon Bedrock: Ещё больше интеллекта по более низкой стоимости.
Общий обзор моделей Claude 3, а также других крутых моделей, таких как Mistral и Llama 3 от Meta.
Обсуждение новых функций, перешедших в GA, таких как Guardrails, Agents и Model Evaluation.
AWS слушает своих клиентов: Обновление Amazon S3 - теперь нет платы за запросы с HTTP-кодами ошибок
Одной строкой:
Безопасность: Amazon GuardDuty Malware Protection для Amazon S3.
Безопасность: Обновление IAM Access Analyzer - расширение проверок пользовательских политик и управляемое отзывавание.
Безопасность: AWS добавляет поддержку passkey для многофакторной аутентификации (MFA) для рутовых и IAM пользователей.
EC2: Новые БОЛЬШИЕ инстансы Amazon EC2 U7i для больших баз данных в памяти, сертифицированы для SAP HANA.
Сертификации: Две новые сертификации AWS - AWS Certified AI Practitioner и AWS Certified Machine Learning Engineer – Associate.
Присоединяйтесь, чтобы быть в курсе всех последних обновлений.

В новом выпуске говорим о миграции баз данных с экспертом из AWS, Dimitriy Kumundzhiev, Senior Database Engineer из Австралии. Обсуждаем:
Типы миграций: гомо/гетеро и сложные/простые
Почему компании выбирают миграцию баз данных
Ассесмент с помощью AWS SCT или Ora2PG
Как выбрать целевую СУБД
Оценка стоимости миграции по времени
Оценка стоимости дальнейшей поддержки и девелопмента
Пример с отправкой email через UTL_HTTP
Гомо миграции в виде lift and shift: On-prem to Cloud/Cloud to Cloud
Использование AWS Fleet Advisor для выбора размера инстанса
Начинаем говорить про AWS DMS
AWS Snowball для больших объемов данных (> 1Pb)
Общая архитектура DMS и его компоненты
Replication Instance (RI) как EC2 машина с кодом на борту
Migration Task как инструкция для RI
Продолжение следует! Во второй части мы углубимся в детали AWS DMS и обсудим практические примеры миграций. Присоединяйтесь, чтобы узнать все тонкости миграции баз данных!

Сегодня мы обсуждаем одну из самых не простых тем в мире AWS — аутентификацию и авторизацию. Вместе с нашим гостем, Artsiom Rachytski, Senior Solutions Architect AWS, мы разберем эти непростые, но очень важные понятия.
Разобрали:
Что такое аутентификация: современные подходы, OAuth и JWT (SAML 2.0.)
Как можно реализовать аутентификацию в приложении с помощью Cognito: Hosted UI, SDK, API
Cognito User Pools vs Identity Pools
Кастомизация в Cognito и интеграция с сервисами AWS на примере API Gateway
Как не нужно кастомизировать: лимиты в Cognito
Чем авторизация отличается от аутентификации
Почему Cognito не решает задачу авторизации и какой сервис ее решает (Amazon Verified Permissions)
Если вам показалось мало, вот тут можно посмотреть и почитать больше
RBAC с Amazon Cognito через интеграцию с внешним IdP: https://aws.amazon.com/blogs/security/role-based-access-control-using-amazon-cognito-and-an-external-identity-provider/Видео с ANZ Summit 2022: Application Identity с помощью Amazon Cognito: https://www.youtube.com/watch?v=8xmJv1f9WLk 

Хотите понять, как работать с большими языковыми моделями в облаке AWS? В этом выпуске мы пригласили Рустема (Rustem Feyzkhanov) - специалиста по машинному обучению и AWS Hero. Мы подробно разобрали разные варианты деплоя LLM:
 
•Amazon Bedrock - сервис для быстрого запуска популярных моделей
•Amazon SageMaker JumpStart - кастомные модели в пару кликов
•Hugging Face Estimator - доступ к библиотеке моделей Hugging Face
•Развертывание в контейнерах ECS и на GPU-инстансах EC2
•AWS Lambda - какие особенности надо учесть при таком запуске
 
С чего начать, что выбрать под свой кейс, как оптимизировать затраты - ответы в подкасте.
 
Слушайте, пробуйте!
 
Ссылки упомянутые во время подкаста:
 
Слайды с Реинвента https://www.dropbox.com/scl/fi/m72mosktms8k43q4ktpsx/Feyzkhanov_AWS_GenAI_Services_And_Options.pdf?rlkey=2p35imid8xxbhjyfunbj2m9ya&dl=0
Пример Mistral 7B на SageMaker JumpStart https://aws.amazon.com/blogs/machine-learning/mistral-7b-foundation-models-from-mistral-ai-are-now-available-in-amazon-sagemaker-jumpstart/
Использование HuggingFace для деплоя моделей на SageMaker https://huggingface.co/docs/sagemaker/inference
Использование AWS Lambda для хостинга Mistral 7B https://aws.plainenglish.io/serverless-compute-for-llm-with-a-step-by-step-guide-for-hosting-mistral-7b-on-aws-lambda-0a267e153cae
Использование ECS Fargate для хостинга LLAMA 2 https://aws.plainenglish.io/guide-for-running-llama-2-using-llama-cpp-on-aws-fargate-7086bcd1ed3c
Hugging face Inferentia 2 https://huggingface.co/blog/inferentia-llama2

Бережливый архитектор (frugal architect) - это не просто слова, это философия работы с облачными ресурсами, где каждый цент на счету. На конференции reInvent 2023 CTO Amazon Werner Vogels представил семь законов бережливого архитектора, которые помогут сделать ваш проект не только более экономичным, но и эффективным. В этом выпуске подкаста мы вместе с архитекторами AWS глубже погрузимся в эти законы и посмотрим, как они могут быть применены на практике.
Ссылка на законы https://www.thefrugalarchitect.com/ 

В это выпуске мы погружаемся в мир serverless-архитектуры и обсуждаем, как не только оптимизировать использование AWS Lambda, но и как обеспечить лучший developer experience. Рома, опытный Solutions Architect, дает практические советы по работе с serverless и демистифицирует процесс локального запуска и тестирования Lambda-функций.
Мы начинаем с вопроса, который волнует многих разработчиков: "Как мне запускать лямбду локально?" Рома объясняет, что, хотя локальный запуск возможен, он не всегда эффективен из-за интеграции лямбды с другими сервисами AWS. Вместо попыток воссоздать полноценную среду AWS локально, мы рассматриваем стратегии для тестирования и дебаггинга непосредственно в облаке.Для улучшения developer experience обсуждаются такие инструменты, как SAM (Serverless Application Model) и его функция Accelerate, которая позволяет быстро деплоить изменения в облако и просматривать логи в реальном времени. Также мы углубляемся в интеграцию SAM с другими инструментами, такими как CDK (Cloud Development Kit) и Terraform.Рома делится своим опытом использования AWS Power Tools, набора библиотек, упрощающих разработку Lambda-функций, включая автоматизацию структурированного логирования, создание пользовательских метрик и трассировку.
Наконец, мы затрагиваем тему тестирования serverless-приложений. Разработчикам рекомендуется писать юнит-тесты, а также проводить интеграционное и end-to-end тестирование в облачной среде, используя тестовые лямбда-функции для мониторинга асинхронных событий.
 
Ссылки:
https://awslabs.github.io/aws-lambda-powertools-python

В новом выпуске подкаста 'AWS на русском' мы раскрываем роль аккаунт-менеджера (AM). С нами в гостях опытный аккаунт-менеджер Юлия Андреевна, которая делится инсайдами о том, как строятся отношения с клиентами в AWS. Обсуждаем, что скрывается за кулисами работы аккаунт-менеджеров и какие навыки необходимы для успешной карьеры в этой роли. Юлия также рассказывает о том, как AM-ы AWS сочетают понимание бизнес-процессов клиентов с знанием технологических решений, чтобы предлагать оптимальные пути развития и поддержки. Особое внимание уделяется важности способности к быстрому принятию решений, ориентации на клиента и стремлению к достижению конкретных результатов.

Продолжаем обсуждение новинок с reInvent 2023. Это третья и заключительная часть нашего обзора.
🚀 Хаос-инжиниринг
Мы начинаем с хаос-инжиниринга – методологии, проверяющей стойкость системы к потенциальным сбоям. Рассмотрели новые функции AWS Fault Injector Simulator, добавившиеся сценарии - обрывы питания и кросс-региональные обрывы связи.
📦 Базы данных и хранилище: Amazon Aurora Limitless и Amazon S3 Express One Zone Storage Class
Далее переходим к Amazon Aurora Limitless – революционному подходу к масштабированию баз данных. Обсудили, как благодаря новым технологиям синхронизации времени транзакции обрабатываются с невероятной скоростью.
Важное обновление касается Amazon S3 – новый класс хранения Express One Zone, увеличивающий скорость работы с данными в облаке.
🔄 Прощай, ETL: Новая эра аналитики (Zero ETL)
Обсудили концепцию Zero ETL, упрощающую процесс интеграции данных и сокращающую необходимые для этого время и ресурсы. Новые интеграции OpenSearch с S3 и другие открывают новые возможности для аналитических задач.
📡 Project Kuiper: Интернет из космоса
И наконец, мы затрагиваем Project Kuiper – амбициозный проект Amazon по созданию спутниковой сети для предоставления высокоскоростного интернета во всем мире.

Продолжаем обсуждать новинки из reInvent 2023 🚀. Новый выпуск полностью посвящен обсуждению Generative A. В частности, мы обсудили такие сервисы, как Amazon Q, Amazon Bedrock, векторные базы данных, новое железо для AI, создание своего RAG и многое другое. 🤖
Ссылки на обзор всех новостей вы можете найти ниже. 
AWS announces vector search for Amazon MemoryDB for Redis (Preview)
Amazon CloudWatch announces AI-powered natural language query generation (in preview)
AWS announces Amazon Q (Preview)
Boost generative AI application development with Agents for Amazon Bedrock
Amazon Q offers help to optimize EC2 instance type selection (preview)
Meta Llama 2, Cohere Command Light, and Amazon Titan FMs can now be fine-tuned in Amazon Bedrock
Safeguard generative AI applications with Guardrails for Amazon Bedrock (Preview)
Knowledge Bases for Amazon Bedrock is now generally available
Amazon Titan Text models—Express and Lite—now generally available in Amazon Bedrock
Amazon Titan Multimodal Embeddings foundation model now generally available in Amazon Bedrock
Stable Diffusion XL 1.0 foundation model from Stability AI is now generally available in Amazon Bedrock
Llama 2 70B foundation model from Meta is now available in Amazon Bedrock
Claude 2.1 foundation model from Anthropic is now generally available in Amazon Bedrock
Evaluate, compare, and select the best FMs for your use case in Amazon Bedrock (Preview)
Amazon Q generative SQL is now available in Amazon Redshift Query Editor (preview)

🎙️ Добро пожаловать в первый подкаст 2024 года, где мы обсуждаем самые свежие и значимые анонсы AWS reInvent 2023. Узнайте о последних инновациях в Kubernetes, роли AI в разработке и как Amazon CodeWhisperer поможет написать CDK, CloudFormation и Terraform код.
🔍 Мы также глубоко погружаемся в новые стратегии управления и оптимизации затрат AWS, раскрывая, как эти изменения могут повлиять на вашу ежедневную работу. От нового объединенного интерфейса биллинга до улучшенных инструментов для анализа затрат – узнайте, как эффективно управлять ресурсами и сокращать расходы.
💡 Не пропустите уникальные впечатления от Keynote Вернера и узнайте, как философия "Frugal Architect" может вдохновить вас на новые подходы в разработке. Подключайтесь к нам, чтобы быть в курсе самых актуальных трендов и инноваций в мире AWS!
 
Ссылки на обзор всех новостей вы можете найти ниже. 
 
Amazon Web Services announces Unified Billing and Cost Management console
Introducing Cost Optimization Hub
Announcing Data Exports for AWS Billing and Cost Management
Amazon CloudWatch Application Signals for automatic instrumentation of your applications
Announcing new Amazon EC2 R8g instances powered by AWS Graviton4 processors (Preview)
Amazon EKS introduces EKS Pod Identity
AWS CloudFormation introduces Git management of stacks
Introducing the Amazon CodeCatalyst Enterprise Tier
Announcing custom blueprints for Amazon CodeCatalyst
AWS Application Composer announces AWS Step Functions Workflow Studio integration
Amazon GuardDuty now supports runtime monitoring for Amazon EC2 (Preview)
Introducing Amazon GuardDuty ECS Runtime Monitoring, including AWS Fargate
Amazon Inspector agentless vulnerability assessments for Amazon EC2 now in preview