この概要は表示できません。投稿を閲覧するには
ここをクリック してください。
2017年1月11日水曜日
2016年4月25日月曜日
[Lambda][Elactic Transcoder]動画サービスの構築
こんにちは！
エンジニアの井口です。
動画のニーズが高まってきている昨今です。
動画を動画ホスティングサービスではなく、自身のサービスとして保持したいというご要望も増えてきています。
動画のホスティングにyoutubeを利用するにしても、
ユーザに動画をアップしてもらうタイプのwebサービスにはその方法も使えません。
・デスクトップ、モバイルデバイス、タブレット、およびテレビでの再生に最適化された、出力フォーマットにエンコード
・そのためにそれぞれのエンコード用のインフラ群構築
などになるのですが、
サービスを徐々に軌道に乗せながら、それらを維持、構築していくには、大きな予算が必要となります。
AWSのElastic Transcoderです。
Amazon Elastic Transcoderのサービス概要
Elastic Transcoderは他のAWSサービスのように必要なときに必要なときだけ、
各動画エンコードへの変換などを
使った分だけ利用可能なサービスです。
このサービスは他のAwsのサービスである、Lambda（ラムダ）と非常に相性がよく、
今までの方法とはまったく別次元のハンドリングの良い開発が可能となりました。
AWSのストレージ機能である、S3にアップされた動画を自動的にLambdaが検知。
Lambdaが勝手にTranscoderを起動し、Transcoderのパイプラインに乗って
指定したデバイス用に変換された動画を、自動で指定されたS3に自動保存という芸当を
やってのけてくれます。
いままでは動画のアップロード、複数のエンコード、保存と、
複雑なシステム・インフラを構築せざるをえなかったものが、
クラウド側で自動でイベントが立ち、そのイベントが他のサービスに伝播し、それトリガーとして
やってくれるという画期的なサービスです。
プログラマーは各サービスを繋ぎ、
トリガー毎に発行されるにイベントに仕掛けを仕込むだけでよくなりました。
エンジニアにとって、プログラミングのスキルも当然大事ですが、
このようなクラウドのサービスの特性を理解し、
サービス同士の連携や、設定をこなせることもより重要になってきていると感じています。
動画サービスを構築・運用されたい方など、
ご相談ありましたら、お気軽にお問い合わせ下さい。
ビジネスプランをお持ちの方、WEBアプリを使って何か新しいビジネスを始めたい方、
僕達が力になれるかもしれません
是非お問い合わせ下さい
-----------------------------------------------
同時に、デザイナ、エンジニア、コーダの方募集中です。
サーバ周りからデザイン、システムまでワンストップでの開発を経験できますので、
WEB開発の事を学びたい方にぴったりな職場だと思っております。
またそういった向上心あふれる方と一緒に成長してきたいと思っておりますので、
興味を持たれた方はとりあえずご連絡下さい(^^)
-----------------------------------------------
福岡のシステム開発・Web制作 C-limber（クライマー）株式会社
エンジニアの井口です。
動画のニーズが高まってきている昨今です。
動画を動画ホスティングサービスではなく、自身のサービスとして保持したいというご要望も増えてきています。
動画のホスティングにyoutubeを利用するにしても、
ユーザに動画をアップしてもらうタイプのwebサービスにはその方法も使えません。
動画サービスを自社で管理する多大なコスト
動画を自社サービスとして保持する場合、必要になることが・デスクトップ、モバイルデバイス、タブレット、およびテレビでの再生に最適化された、出力フォーマットにエンコード
・そのためにそれぞれのエンコード用のインフラ群構築
などになるのですが、
サービスを徐々に軌道に乗せながら、それらを維持、構築していくには、大きな予算が必要となります。
Elastic Transcoderの活用で開発・運用コストを削減
そんなときにコストを押さえつつ、非常に有効な手段となるのが、AWSのElastic Transcoderです。
Amazon Elastic Transcoderのサービス概要
Elastic Transcoderは他のAWSサービスのように必要なときに必要なときだけ、
各動画エンコードへの変換などを
使った分だけ利用可能なサービスです。
このサービスは他のAwsのサービスである、Lambda（ラムダ）と非常に相性がよく、
今までの方法とはまったく別次元のハンドリングの良い開発が可能となりました。
Lambdaが勝手にTranscoderを起動し、Transcoderのパイプラインに乗って
指定したデバイス用に変換された動画を、自動で指定されたS3に自動保存という芸当を
やってのけてくれます。
いままでは動画のアップロード、複数のエンコード、保存と、
複雑なシステム・インフラを構築せざるをえなかったものが、
クラウド側で自動でイベントが立ち、そのイベントが他のサービスに伝播し、それトリガーとして
やってくれるという画期的なサービスです。
プログラマーは各サービスを繋ぎ、
トリガー毎に発行されるにイベントに仕掛けを仕込むだけでよくなりました。
エンジニアにとって、プログラミングのスキルも当然大事ですが、
このようなクラウドのサービスの特性を理解し、
サービス同士の連携や、設定をこなせることもより重要になってきていると感じています。
動画サービスをご検討の方、ご相談下さい
動画を自社で管理されたい方や、動画サービスを構築・運用されたい方など、
ご相談ありましたら、お気軽にお問い合わせ下さい。
↓↓引き続き募集中です(^^)
弊社ではシステム開発、Web制作, Iot案件など幅広く対応しております。ビジネスプランをお持ちの方、WEBアプリを使って何か新しいビジネスを始めたい方、
僕達が力になれるかもしれません
是非お問い合わせ下さい
-----------------------------------------------
同時に、デザイナ、エンジニア、コーダの方募集中です。
サーバ周りからデザイン、システムまでワンストップでの開発を経験できますので、
WEB開発の事を学びたい方にぴったりな職場だと思っております。
またそういった向上心あふれる方と一緒に成長してきたいと思っておりますので、
興味を持たれた方はとりあえずご連絡下さい(^^)
-----------------------------------------------
福岡のシステム開発・Web制作 C-limber（クライマー）株式会社
2016年3月22日火曜日
JAWS 2016に参加してきました
エンジニアの井口です。
先日東京でJAWS 2016 という、日本最大のAWSユーザグループのイベントに参加してきましたので、
感想などまとめておきたいと思います。
[JAWS 2016 総まとめ]
[JAWS 2016のタイムテーブル]
私は「AWS Technical Deep Dive」という
技術寄りのセッションをずっと聞いてました。
セッションは前半後半に分かれ、
前半がユーザセッション、後半がAWS内部の人が補足説明という進行でした。
この進行の仕方はわかりやすいですね。
前半でヘビーユーザのリアルなユースケースが聞けて、
それをふまえて、後半、AWSのエンジニアの方から補足＋アルファの
「こういう使い方もある」とか「一般的にはこういう使い方」という
かゆい部分に届く説明があるといった感じで、
AWSの各サービスをより深く知ることができました。
以下 私がきいたセッション内容題目
開発が追いつかなくなる時代が来てるのかなという事。
・Cognito（コグニート）の認証
・Kinesis（キネシス）データストリーム
・Lambda（ラムダ）のコンテナ
・API GatewayのURLハンドリング
・DinamoDB（ダイナモDB）NoSQL
とEC2と持たずに、負荷分散などほとんど考えずに
コストを抑えて大規模サービスを展開できる時代になったのだ、という
事を思いました。
2-Tier Architecture（ツーティア アーキテクチャ）
というらしいのですが、
このようなクラウドを利用するだけでなく、
その特性を踏まえた、というか
それを前提としたサービスづくりが
これから重要度を増してくるように思いました。
クラウドの特性に依存しすぎて、
他のサービス（クラウド）に移行できない状況を
「ロックイン」というらしいですが、
AWSのここまでの機能を見せつけられ、
それに、他の大規模サービスが当然のように活用している状況を見ると、
逆に、AWSで作られたサービスに対抗するように
他のクラウドサービスが何らかの同等サービスを展開しないと
そもそもクラウドサービスで生き残れないような時代になるのではと
思います。
先日のFacebookのParseの終了の発表もそういう部分で、
AWSや他クラウドサービスに追いつけないと感じたことが原因かもしれないなと思いました。
2-Tier Architectureで何か作成しないと
時代に乗り遅れるな、、、とかあせりつつ、
地道に今現役のサービスや技術を磨く必要もあると
なかなか大変なワクワクする状況だなと思っております。
このワクワクをずっと感じていけるよう、新しい波に乗り遅れることなく
乗りこなしていきたいと思いました。
そんな未来の開発手法や開発の方向性を感じることができる
有意義なイベントでした。
また来年も参加したいです。
ビジネスプランをお持ちの方、WEBアプリを使って何か新しいビジネスを始めたい方、
僕達が力になれるかもしれません
是非お問い合わせ下さい
-----------------------------------------------
同時に、デザイナ、エンジニア、コーダの方募集中です。
サーバ周りからデザイン、システムまでワンストップでの開発を経験できますので、
WEB開発の事を学びたい方にぴったりな職場だと思っております。
またそういった向上心あふれる方と一緒に成長してきたいと思っておりますので、
興味を持たれた方はとりあえずご連絡下さい(^^)
-----------------------------------------------
福岡のシステム開発・Web制作 C-limber（クライマー）株式会社
先日東京でJAWS 2016 という、日本最大のAWSユーザグループのイベントに参加してきましたので、
感想などまとめておきたいと思います。
[JAWS 2016のタイムテーブル]
せっかく行ったので、一番Deepなのを聞いてきましたw
1500人規模のイベントで同時に5つのセッションが行われ、私は「AWS Technical Deep Dive」という
技術寄りのセッションをずっと聞いてました。
セッションは前半後半に分かれ、
前半がユーザセッション、後半がAWS内部の人が補足説明という進行でした。
この進行の仕方はわかりやすいですね。
前半でヘビーユーザのリアルなユースケースが聞けて、
それをふまえて、後半、AWSのエンジニアの方から補足＋アルファの
「こういう使い方もある」とか「一般的にはこういう使い方」という
かゆい部分に届く説明があるといった感じで、
AWSの各サービスをより深く知ることができました。
以下 私がきいたセッション内容題目
| [Deep Dive]AWS Mobile Services |
|
Cognitoでお手軽クラウドソーシング 足立陽一[有限会社 来栖川電算] [スライドはこちら] ----------- Amazon Cognito Deep Dive 塚田 朗弘[AWSJ SA] [スライドはこちら] |
| [Deep Dive]AWS Big Data |
|
スマートニュースにおけるストリーム処理の過去・現在・未来 坂本卓巳[スマートニュース株式会社] [スライドはこちら] ----------- Big DataとContainerとStreaming – AWSでのクラスタ構成とストリーミング処理 岩永 亮介[AWSJ SA] [スライドはこちら] |
| [Deep Dive]AWS IoT |
|
AWS IoTで家庭内IoTをやってみた 土持昌志[JAWS-UG 大阪] [スライドはこちら] ----------- AWS IoT デザインパターン 福井 厚[AWSJ SA] / 下佐粉 昭[AWSJ SA] [スライドはこちら] |
| [Deep Dive]Amazon API Gateway & Lambda |
|
オペ担当がAPI Gateway + Lambdaでチケット処理を自動化した話。 植木 和樹[JAWS-UG 上越妙高支部] スはこちら]ライド ----------- Amazon API Gateaway / AWS Lambda Deep Dive（の触りだけ） 西谷 圭介[AWSJ SA] [スライドはこちら] |
| [Deep Dive]Amazon Aurora |
|
「クラウドソーシングLancers」を支えるAurora 金澤 裕毅 [ランサーズ株式会社] [スライドはこちら] ----------- Amazon Aurora最新update – Amazon Aurora GAのその後 星野 豊[AWSJ SA] [スライドはこちら] |
EC2を極力立てない
従来のEC2を立てて、負荷分散して〜・・・という方法では開発が追いつかなくなる時代が来てるのかなという事。
・Kinesis（キネシス）データストリーム
・Lambda（ラムダ）のコンテナ
・API GatewayのURLハンドリング
・DinamoDB（ダイナモDB）NoSQL
とEC2と持たずに、負荷分散などほとんど考えずに
コストを抑えて大規模サービスを展開できる時代になったのだ、という
事を思いました。
ロックインしちゃってみる
こういった構造のアプリケーションを2-Tier Architecture（ツーティア アーキテクチャ）
というらしいのですが、
このようなクラウドを利用するだけでなく、
その特性を踏まえた、というか
それを前提としたサービスづくりが
これから重要度を増してくるように思いました。
クラウドの特性に依存しすぎて、
他のサービス（クラウド）に移行できない状況を
「ロックイン」というらしいですが、
AWSのここまでの機能を見せつけられ、
それに、他の大規模サービスが当然のように活用している状況を見ると、
逆に、AWSで作られたサービスに対抗するように
他のクラウドサービスが何らかの同等サービスを展開しないと
そもそもクラウドサービスで生き残れないような時代になるのではと
思います。
先日のFacebookのParseの終了の発表もそういう部分で、
AWSや他クラウドサービスに追いつけないと感じたことが原因かもしれないなと思いました。
体験してみなきゃわからない
弊社も早く、2-Tier Architectureで何か作成しないと
時代に乗り遅れるな、、、とかあせりつつ、
地道に今現役のサービスや技術を磨く必要もあると
なかなか大変なワクワクする状況だなと思っております。
このワクワクをずっと感じていけるよう、新しい波に乗り遅れることなく
乗りこなしていきたいと思いました。
そんな未来の開発手法や開発の方向性を感じることができる
有意義なイベントでした。
また来年も参加したいです。
↓↓引き続き募集中です(^^)
弊社ではシステム開発、Web制作, Iot案件など幅広く対応しております。ビジネスプランをお持ちの方、WEBアプリを使って何か新しいビジネスを始めたい方、
僕達が力になれるかもしれません
是非お問い合わせ下さい
-----------------------------------------------
同時に、デザイナ、エンジニア、コーダの方募集中です。
サーバ周りからデザイン、システムまでワンストップでの開発を経験できますので、
WEB開発の事を学びたい方にぴったりな職場だと思っております。
またそういった向上心あふれる方と一緒に成長してきたいと思っておりますので、
興味を持たれた方はとりあえずご連絡下さい(^^)
-----------------------------------------------
福岡のシステム開発・Web制作 C-limber（クライマー）株式会社
2015年9月19日土曜日
[AWS] Route53のDNSフェイルオーバーの設定
こんにちわ、池田です。
とある案件で、Route53のDNSフェイルオーバーの設定が必要になったのでやってみました
設定をするとプライマリーサイトが落ちた場合に、セカンダリサイトにDNSを切り替えてくれます。
プライマリーサイトはElasticBeansTalkで構成されてます。
セカンダリーサイトはS3を利用します。
S3にドメインと同じバケットを作成し、静的ウェブサイトホスティングを有効にしておきます。インデックスドキュメントはindex.htmlとしました。
プライマリーサイト
セカンダリーサイト
プライマリーサイトではAレコード、AliasをYes、AliasTargetにELBのエンドポイントを指定します。
RoutingPolicyをFailOver、Primaryに設定。
EvaluateTargetHealthをYes、Associate with Health CheckをNoにします。
プライマリーは以上です。
セカンダリーサイトも同様にAレコード、AliasをYesにしAliasTargetにはS3バケットのエンドポイントを指定します。
RoutingPolicyをFailOver、Secondaryに設定。
EvaluateTargetHealthをYes、Associate with Health CheckをNoにします。
ELBのHealthCheckを利用しているので、内容を確認しておきましょう。
チェックの方法はELBにぶら下がっているEC2インスタンスを削除します。
HealthCheckで設定したしきい値を超えた時にDNSがプライマリーサイトからセカンダリーサイトに切り替わります。
しばらくしてプライマリーサイトのEC2が起動します。
HealthCheckが正常とみなすしきい値を超えたらDNSがプライマリーサイトに切り替わります。
簡単で便利ですね。以上です。
とある案件で、Route53のDNSフェイルオーバーの設定が必要になったのでやってみました
設定をするとプライマリーサイトが落ちた場合に、セカンダリサイトにDNSを切り替えてくれます。
プライマリーサイトはElasticBeansTalkで構成されてます。
セカンダリーサイトはS3を利用します。
S3にドメインと同じバケットを作成し、静的ウェブサイトホスティングを有効にしておきます。インデックスドキュメントはindex.htmlとしました。
プライマリーサイト
セカンダリーサイト
プライマリーサイトではAレコード、AliasをYes、AliasTargetにELBのエンドポイントを指定します。
RoutingPolicyをFailOver、Primaryに設定。
EvaluateTargetHealthをYes、Associate with Health CheckをNoにします。
プライマリーは以上です。
セカンダリーサイトも同様にAレコード、AliasをYesにしAliasTargetにはS3バケットのエンドポイントを指定します。
RoutingPolicyをFailOver、Secondaryに設定。
EvaluateTargetHealthをYes、Associate with Health CheckをNoにします。
ELBのHealthCheckを利用しているので、内容を確認しておきましょう。
チェックの方法はELBにぶら下がっているEC2インスタンスを削除します。
HealthCheckで設定したしきい値を超えた時にDNSがプライマリーサイトからセカンダリーサイトに切り替わります。
しばらくしてプライマリーサイトのEC2が起動します。
HealthCheckが正常とみなすしきい値を超えたらDNSがプライマリーサイトに切り替わります。
簡単で便利ですね。以上です。
2013年12月9日月曜日
[ubuntu][aws] awsで10.04から13.04にネットワークアップグレード
vsftp2.3.5のアップグレードのついでに
ubuntuも10.04だったのでアップグレードしてみることにしました。
参考サイト
UbuntuTips/Install/UpgradeNatty - Ubuntu Japanese Wiki
まずアップグレードの前に現在のバージョンにおける全てのアップデートを必ず適用
apt-get update, apt-get upgrade
□まだインストールしていなければ、update-manager-coreをインストールします
（これについてはやらくてもうまくいった）
□/etc/update-manager/release-upgradesを編集し、Prompt=normalを設定します
□アップグレードツールを起動します
30分ぐらいでアップデート終わりました。
ubuntuも10.04だったのでアップグレードしてみることにしました。
参考サイト
UbuntuTips/Install/UpgradeNatty - Ubuntu Japanese Wiki
まずアップグレードの前に現在のバージョンにおける全てのアップデートを必ず適用
apt-get update, apt-get upgrade
□まだインストールしていなければ、update-manager-coreをインストールします
sudo apt-get install update-manager-core
（これについてはやらくてもうまくいった）
□/etc/update-manager/release-upgradesを編集し、Prompt=normalを設定します
□アップグレードツールを起動します
sudo do-release-upgrade
30分ぐらいでアップデート終わりました。
$ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 13.04 Release: 13.04 Codename: raring
2013年7月16日火曜日
awsの参考リンク
awsでサーバ管理すると、いろいろ便利ですね。
便利に管理するためのリンクメモです。
公式APIリファレンス
AWS SDK for PHP 1.6.2
自動バックアップサンプルスクリプト
suz-lab - blog: タグを利用したEC2のバックアップ(AMI取得)と世代管理
バックアップ管理についてはまた後ほど・・
便利に管理するためのリンクメモです。
公式APIリファレンス
AWS SDK for PHP 1.6.2
自動バックアップサンプルスクリプト
suz-lab - blog: タグを利用したEC2のバックアップ(AMI取得)と世代管理
バックアップ管理についてはまた後ほど・・