AWS на русском

051. Миграция баз данных: лучшие практики от AWS - Часть 2

Вторая часть выпуска  о миграции баз данных с экспертом из AWS, Dimitriy Kumundzhiev, Senior Database Engineer из Австралии.
В этом выпуске мы продолжаем обсуждать миграцию баз данных с акцентом на использование AWS DMS и SCT. Вот основные темы, которые мы затронули:
Миграция данных с помощью AWS DMS:
Обсудили различные типы миграции: full load, CDC (Change Data Capture), и валидацию данных.
Как подготовить инфраструктуру AWS для миграции и выбрать подходящий тип репликационного инстанса.
Как использовать ассессмент-скрипты DMS для оценки нагрузки на базу данных Oracle и выявления недостающих ключей.
Гетерогенные миграции и конвертация кода с AWS SCT:
Рассмотрели, как выбирать типы данных при миграции, например, Number() в Oracle и Numeric() в PostgreSQL.
Поделились опытом работы с объектами, содержащими бизнес-логику: процедурами, функциями и триггерами.
Обсудили сложности конвертации Oracle пакетов и почему AWS SCT не всегда может автоматически конвертировать весь код.
Тестирование кода при конвертации:
Обсудили важность наличия тестов на базе данных и сложности их написания.
Рассказали о фреймворках для тестирования, таких как PgTAP для PostgreSQL и utPLSQL для Oracle.
DevOps автоматизация в сложных миграциях:
Поделились подходами к автоматизации процессов миграции с использованием CodeCommit, CodeBuild и других AWS сервисов.
Рассмотрели альтернативы, такие как TeamCity и Jenkins, и их использование для автоматизации.
Быстрый деплой кода базы данных:
Обсудили, как быстро развернуть код базы данных в окно миграции с помощью Liquibase.
Рассказали о преимуществах использования Liquibase для управления зависимостями объектов и ускорения деплоя индексов.
Этот выпуск подкаста — кладезь полезной информации для тех, кто занимается миграцией баз данных и хочет узнать больше о лучших практиках и инструментах AWS. Если у вас есть вопросы или интересные темы для обсуждения, пишите https://t.me/ViktorVedmich, и мы обязательно вернемся к ним в будущих выпусках.
Слушайте, подписывайтесь и делитесь с коллегами!

050. Новости за первое полугодие 2024 в AWS

В новом выпуске подкаста “AWS на русском” мы с Михаилом (Principal Solutions Architect) обсудим последние новости и обновления из мира AWS. Поделимся впечатлениями от недавних поездок и мероприятий, а также поговорим о новых функциях и сервисах, которые помогут вам в работе.
Что обсудили в выпуске:
Amazon WorkSpaces Pools: Эффективное решение для виртуальных рабочих столов.
Мы обсудим не только эту функцию, но и общий подход к удаленной разработке, включая VDI и CodeCatalyst с девелопмент-энвайронментами.
Amazon CodeCatalyst: Теперь поддерживает репозитории GitLab и Bitbucket, с кастомными блюпринтами и функцией Amazon Q для разработки
Anthropic’s Claude 3.5 Sonnet модель в Amazon Bedrock: Ещё больше интеллекта по более низкой стоимости.
Общий обзор моделей Claude 3, а также других крутых моделей, таких как Mistral и Llama 3 от Meta.
Обсуждение новых функций, перешедших в GA, таких как Guardrails, Agents и Model Evaluation.
AWS слушает своих клиентов: Обновление Amazon S3 - теперь нет платы за запросы с HTTP-кодами ошибок
Одной строкой:
Безопасность: Amazon GuardDuty Malware Protection для Amazon S3.
Безопасность: Обновление IAM Access Analyzer - расширение проверок пользовательских политик и управляемое отзывавание.
Безопасность: AWS добавляет поддержку passkey для многофакторной аутентификации (MFA) для рутовых и IAM пользователей.
EC2: Новые БОЛЬШИЕ инстансы Amazon EC2 U7i для больших баз данных в памяти, сертифицированы для SAP HANA.
Сертификации: Две новые сертификации AWS - AWS Certified AI Practitioner и AWS Certified Machine Learning Engineer – Associate.
Присоединяйтесь, чтобы быть в курсе всех последних обновлений.

049. Миграция баз данных: лучшие практики от AWS

В новом выпуске говорим о миграции баз данных с экспертом из AWS, Dimitriy Kumundzhiev, Senior Database Engineer из Австралии. Обсуждаем:
Типы миграций: гомо/гетеро и сложные/простые
Почему компании выбирают миграцию баз данных
Ассесмент с помощью AWS SCT или Ora2PG
Как выбрать целевую СУБД
Оценка стоимости миграции по времени
Оценка стоимости дальнейшей поддержки и девелопмента
Пример с отправкой email через UTL_HTTP
Гомо миграции в виде lift and shift: On-prem to Cloud/Cloud to Cloud
Использование AWS Fleet Advisor для выбора размера инстанса
Начинаем говорить про AWS DMS
AWS Snowball для больших объемов данных (> 1Pb)
Общая архитектура DMS и его компоненты
Replication Instance (RI) как EC2 машина с кодом на борту
Migration Task как инструкция для RI
Продолжение следует! Во второй части мы углубимся в детали AWS DMS и обсудим практические примеры миграций. Присоединяйтесь, чтобы узнать все тонкости миграции баз данных!

048. Аутентификация и авторизация с AWS Cognito

Сегодня мы обсуждаем одну из самых не простых тем в мире AWS — аутентификацию и авторизацию. Вместе с нашим гостем, Artsiom Rachytski, Senior Solutions Architect AWS, мы разберем эти непростые, но очень важные понятия.
Разобрали:
Что такое аутентификация: современные подходы, OAuth и JWT (SAML 2.0.)
Как можно реализовать аутентификацию в приложении с помощью Cognito: Hosted UI, SDK, API
Cognito User Pools vs Identity Pools
Кастомизация в Cognito и интеграция с сервисами AWS на примере API Gateway
Как не нужно кастомизировать: лимиты в Cognito
Чем авторизация отличается от аутентификации
Почему Cognito не решает задачу авторизации и какой сервис ее решает (Amazon Verified Permissions)
Если вам показалось мало, вот тут можно посмотреть и почитать больше
RBAC с Amazon Cognito через интеграцию с внешним IdP: https://aws.amazon.com/blogs/security/role-based-access-control-using-amazon-cognito-and-an-external-identity-provider/Видео с ANZ Summit 2022: Application Identity с помощью Amazon Cognito: https://www.youtube.com/watch?v=8xmJv1f9WLk 

047. Как запустить LLM (generative AI) на AWS

Хотите понять, как работать с большими языковыми моделями в облаке AWS? В этом выпуске мы пригласили Рустема (Rustem Feyzkhanov) - специалиста по машинному обучению и AWS Hero. Мы подробно разобрали разные варианты деплоя LLM:
 
•Amazon Bedrock - сервис для быстрого запуска популярных моделей
•Amazon SageMaker JumpStart - кастомные модели в пару кликов
•Hugging Face Estimator - доступ к библиотеке моделей Hugging Face
•Развертывание в контейнерах ECS и на GPU-инстансах EC2
•AWS Lambda - какие особенности надо учесть при таком запуске
 
С чего начать, что выбрать под свой кейс, как оптимизировать затраты - ответы в подкасте.
 
Слушайте, пробуйте!
 
Ссылки упомянутые во время подкаста:
 
Слайды с Реинвента https://www.dropbox.com/scl/fi/m72mosktms8k43q4ktpsx/Feyzkhanov_AWS_GenAI_Services_And_Options.pdf?rlkey=2p35imid8xxbhjyfunbj2m9ya&dl=0
Пример Mistral 7B на SageMaker JumpStart https://aws.amazon.com/blogs/machine-learning/mistral-7b-foundation-models-from-mistral-ai-are-now-available-in-amazon-sagemaker-jumpstart/
Использование HuggingFace для деплоя моделей на SageMaker https://huggingface.co/docs/sagemaker/inference
Использование AWS Lambda для хостинга Mistral 7B https://aws.plainenglish.io/serverless-compute-for-llm-with-a-step-by-step-guide-for-hosting-mistral-7b-on-aws-lambda-0a267e153cae
Использование ECS Fargate для хостинга LLAMA 2 https://aws.plainenglish.io/guide-for-running-llama-2-using-llama-cpp-on-aws-fargate-7086bcd1ed3c
Hugging face Inferentia 2 https://huggingface.co/blog/inferentia-llama2

046. Бережливый архитектор

Бережливый архитектор (frugal architect) - это не просто слова, это философия работы с облачными ресурсами, где каждый цент на счету. На конференции reInvent 2023 CTO Amazon Werner Vogels представил семь законов бережливого архитектора, которые помогут сделать ваш проект не только более экономичным, но и эффективным. В этом выпуске подкаста мы вместе с архитекторами AWS глубже погрузимся в эти законы и посмотрим, как они могут быть применены на практике.
Ссылка на законы https://www.thefrugalarchitect.com/ 

045. Оптимизация и тестирование Serverless в AWS

В это выпуске мы погружаемся в мир serverless-архитектуры и обсуждаем, как не только оптимизировать использование AWS Lambda, но и как обеспечить лучший developer experience. Рома, опытный Solutions Architect, дает практические советы по работе с serverless и демистифицирует процесс локального запуска и тестирования Lambda-функций.
Мы начинаем с вопроса, который волнует многих разработчиков: "Как мне запускать лямбду локально?" Рома объясняет, что, хотя локальный запуск возможен, он не всегда эффективен из-за интеграции лямбды с другими сервисами AWS. Вместо попыток воссоздать полноценную среду AWS локально, мы рассматриваем стратегии для тестирования и дебаггинга непосредственно в облаке.Для улучшения developer experience обсуждаются такие инструменты, как SAM (Serverless Application Model) и его функция Accelerate, которая позволяет быстро деплоить изменения в облако и просматривать логи в реальном времени. Также мы углубляемся в интеграцию SAM с другими инструментами, такими как CDK (Cloud Development Kit) и Terraform.Рома делится своим опытом использования AWS Power Tools, набора библиотек, упрощающих разработку Lambda-функций, включая автоматизацию структурированного логирования, создание пользовательских метрик и трассировку.
Наконец, мы затрагиваем тему тестирования serverless-приложений. Разработчикам рекомендуется писать юнит-тесты, а также проводить интеграционное и end-to-end тестирование в облачной среде, используя тестовые лямбда-функции для мониторинга асинхронных событий.
 
Ссылки:
https://awslabs.github.io/aws-lambda-powertools-python

044. Кто такой аккаунт-менеджер в AWS?

В новом выпуске подкаста 'AWS на русском' мы раскрываем роль аккаунт-менеджера (AM). С нами в гостях опытный аккаунт-менеджер Юлия Андреевна, которая делится инсайдами о том, как строятся отношения с клиентами в AWS. Обсуждаем, что скрывается за кулисами работы аккаунт-менеджеров и какие навыки необходимы для успешной карьеры в этой роли. Юлия также рассказывает о том, как AM-ы AWS сочетают понимание бизнес-процессов клиентов с знанием технологических решений, чтобы предлагать оптимальные пути развития и поддержки. Особое внимание уделяется важности способности к быстрому принятию решений, ориентации на клиента и стремлению к достижению конкретных результатов.

043. Разбираем AWS reInvent 2023: часть 3-ая

Продолжаем обсуждение новинок с reInvent 2023. Это третья и заключительная часть нашего обзора.
🚀 Хаос-инжиниринг
Мы начинаем с хаос-инжиниринга – методологии, проверяющей стойкость системы к потенциальным сбоям. Рассмотрели новые функции AWS Fault Injector Simulator, добавившиеся сценарии - обрывы питания и кросс-региональные обрывы связи.
📦 Базы данных и хранилище: Amazon Aurora Limitless и Amazon S3 Express One Zone Storage Class
Далее переходим к Amazon Aurora Limitless – революционному подходу к масштабированию баз данных. Обсудили, как благодаря новым технологиям синхронизации времени транзакции обрабатываются с невероятной скоростью.
Важное обновление касается Amazon S3 – новый класс хранения Express One Zone, увеличивающий скорость работы с данными в облаке.
🔄 Прощай, ETL: Новая эра аналитики (Zero ETL)
Обсудили концепцию Zero ETL, упрощающую процесс интеграции данных и сокращающую необходимые для этого время и ресурсы. Новые интеграции OpenSearch с S3 и другие открывают новые возможности для аналитических задач.
📡 Project Kuiper: Интернет из космоса
И наконец, мы затрагиваем Project Kuiper – амбициозный проект Amazon по созданию спутниковой сети для предоставления высокоскоростного интернета во всем мире.

042. Разбираем AWS reInvent 2023: часть 2-ая Generative AI

Продолжаем обсуждать новинки из reInvent 2023 🚀. Новый выпуск полностью посвящен обсуждению Generative A. В частности, мы обсудили такие сервисы, как Amazon Q, Amazon Bedrock, векторные базы данных, новое железо для AI, создание своего RAG и многое другое. 🤖
Ссылки на обзор всех новостей вы можете найти ниже. 
AWS announces vector search for Amazon MemoryDB for Redis (Preview)
Amazon CloudWatch announces AI-powered natural language query generation (in preview)
AWS announces Amazon Q (Preview)
Boost generative AI application development with Agents for Amazon Bedrock
Amazon Q offers help to optimize EC2 instance type selection (preview)
Meta Llama 2, Cohere Command Light, and Amazon Titan FMs can now be fine-tuned in Amazon Bedrock
Safeguard generative AI applications with Guardrails for Amazon Bedrock (Preview)
Knowledge Bases for Amazon Bedrock is now generally available
Amazon Titan Text models—Express and Lite—now generally available in Amazon Bedrock
Amazon Titan Multimodal Embeddings foundation model now generally available in Amazon Bedrock
Stable Diffusion XL 1.0 foundation model from Stability AI is now generally available in Amazon Bedrock
Llama 2 70B foundation model from Meta is now available in Amazon Bedrock
Claude 2.1 foundation model from Anthropic is now generally available in Amazon Bedrock
Evaluate, compare, and select the best FMs for your use case in Amazon Bedrock (Preview)
Amazon Q generative SQL is now available in Amazon Redshift Query Editor (preview)