1. AI関連領域にまたがる
2. 確率論，線形代数，学習理論，最適化などの
3. 問題発見から解決までの一連のプロセスを
自動運転入門
Posted on April 11, 2021
概要
近年では自動運転の開発が活発に行われており，数年後に迫るのではないかというその完成に期待が集まっています．しかし，自動運転を達成するためには非常に広範な領域の技術が関わっており，各々の専門分野の勉強だけではその全貌を知る機会はなかなかありません．そこで今回は自動運転を構成する技術領域に関して包括的な説明を行い，さらにそれぞれの分野の関わりや現在最先端で研究されている課題についてを解説します．それにより，自らの専門分野が自動運転において扱う領域や他分野とどのように関わるのかについてを知ることを目的とします．
[Read More]
Factorization Machine と量子アニーリングへの応用
Posted on April 11, 2021
概要
近年話題になっているマテリアルインフォマティクス(MI)において，機械学習(ML)が大きな役割を担っています．ブラックボックス最適化によるマテリアルデザインではなく，なぜそのデザインが選ばれたのか，原理を示せるようなホワイトボックスな最適化が求められています．ここではMIの一分野である，automated material designについて 簡単に説明し，そこでどのようにMLが使われているのかを示します．
FM(Factorization Machine)と量子アニーリング(Quantum Annealing， QA)を利用し，実際に波長選択性の高い物質を作成した例を他論文から取り挙げます．そこでどのようにFMとQAが用いられているのか，またその有用性を示します．
[Read More]
Grasping Detection
Posted on April 4, 2021
layout: post
title: 産業用ロボットにおける把持検知
tags: [Seminars]
permalink: seminars/2021-04-04-grasping-detection
—
[Read More]
強化学習による自動株取引
Posted on March 28, 2021
概要
deeplabではこれまでにいくつかの強化学習の勉強会を行いました. 本プロジェクトでは強化学習のための環境とエージェントを自分たちで実装し, その応用力を身につけることを目標としています. 題材は強化学習の応用先としても注目されている株式のトレーディングであり, 今回はその成果の発表を行います.
[Read More]
太陽フレア予測におけるCNNの有効性の検証
Posted on March 21, 2021
概要
太陽フレアは太陽大気中で起こる爆発現象であり，それにより生じる高エネルギー粒子の放出は，衛星を故障させたり，電波システムに障害を発生させます．そのため，太陽フレアの発生を正確に予測し，想定する障害に事前に対策する必要があります．近年，機械学習の発展から，それを用いたフレア予測モデルの構築が活発に研究され，専門家による予測を超えるまでに至ってます．磁場画像データを入力とした太陽フレア予測研究に関して，近年の機会学習界隈の動向と反し，統計的学習手法やMultilayer Perceptron (MLP) が，Convolution Neural Network (CNN) より高い予測精度を出しています．本セミナーでは，この傾向の原因を探るために，統計的学習手法，MLP，CNNを用いて，24時間以内のフレア発生を予測するモデルを構築し，太陽フレア予測におけるCNNの有効性を調査しました．
[Read More]
点群メッシュ処理
Posted on March 21, 2021
概要
近年，ロボティクスや自動運転技術の研究が盛んになってきており，三次元データを扱う機会が増えてきています．本セミナーでは，初学者向けに主に深度センサーから得られたデータを用いて三次元再構成をする際に必要となる手法を紹介します．さらに，実際にそれらの手法を組み合わせてリアルタイムに三次元再構成をしている手法を解説します．
[Read More]
継続学習
Posted on March 14, 2021
概要
機械学習の研究や社会実装は日々顕著な発展を遂げています．しかし，これまでに機械学習の能力が人間の有する知能水準に到達することはありませんでした．機械学習が高水準な知能を獲得するためには，不特定のタスクを継続的に学習していく必要があります．現在の機械学習のもつ汎化性能は，新規タスクを学習する度に過去タスクに対するテスト精度が低下していくという，破滅的忘却と呼ばれる現象に阻害されています．継続学習とは，機械学習から破滅的忘却を防ぎ，さらに過去タスクでの知識を活用して継続的な学習を達成しようとする分野であり，近年盛り上がりを見せつつあります．本セミナーでは，継続学習の観点から破滅的忘却を防ぐためにこれまで提案されてきた方法について解説し，手法ごとの比較や限界について説明します．
[Read More]
メタ研究
Posted on March 7, 2021
概要
近年の人工知能分野では競争の激化に伴い，年間で投稿，採択される論文が急増しています．さらに，トップ会議至上主義の傾向が強まり，学生であっても短期的な成果を強く求められるようになりました．本セミナーでは，メタ的な視点で現在の人工知能研究を振り返り，我々が今後どのような研究を目指すべきが議論する契機を作ります．研究に関する方法論を紹介し，研究に対する姿勢や実践すべきこと等を学びます．
[Read More]
一人称視点映像における異常検知
Posted on March 7, 2021
概要
近年の多様化社会において，身体障害者の方や高齢者の方が自立した生活を送るための支援技術が必要不可欠となっています．今回は，コンピュータービジョン分野における典型的な異常検知手法を紹介し，その後に，特に高齢化社会を支えるための技術として，チェストカメラによって撮影した一人称視点映像から，装着者の転倒やふらつきなどの異常行動を検出する研究を紹介します．
[Read More]
オフ方策評価とOpen Bandit Project
Posted on February 28, 2021
概要
機械学習は予測のための技術としてもてはやされています．しかしその実応用の場面に目を向けてみると，予測のためというよりもむしろ「それぞれのユーザーにどのファッションアイテムを推薦すべきか？」などの意思決定を自動化・高性能化するために用いることが多いです．オフ方策評価 (Off-Policy Evaluation; OPE)は，機械学習などによって構成される意思決定方策の性能を，別の方策によって蓄積されたログデータのみを用いて評価するための技術であり，その応用可能性から，活発に研究され始めている分野です．本発表では，オフ方策評価の基礎を解説しつつ，その現実的で再現可能な実験評価や容易な実装を可能にすべく進行しているオープンソースプロジェクトについて簡単なデモを交えながら紹介します．
※本講演は齋藤優太氏をお招きし，ご講演いただきました．
[Read More]
オフライン強化学習
Posted on February 28, 2021
概要
機械学習の一分野である強化学習では，環境が未知の場合でも用いることのできる最適化手法として，エージェントと呼ばれる学習主体が環境と相互作用し学習しながら目的関数の最適化を行います．近年では強化学習はゲームAIへの応用において人間のパフォーマンスを凌駕し注目を集めていますが，実はその学習過程には多くの”探索”と呼ばれる試行錯誤が必要としています．一方，実世界では，例えば医療や自動運転，広告配信などの意思決定システムにおいて，安全面のリスクや経済損失といったコストが発生する場面ではオンラインでの環境と相互作用しながら探索を行うことは望ましくなく，あまり導入が進んでいません．そこで今回は，オンラインでの環境との相互作用なしに過去に集めたデータ上で強化学習を行う，オフライン強化学習という新しい学習フレームワークについて紹介し，基礎的な知識を身につけます．
[Read More]
データ分析
Posted on January 14, 2021
概要
情報社会の高度化に伴い，世界には大量のデータが溢れるようになりました．大量のデータから意味のある情報を抜き出すためには，実装ベースでの機械学習の手法の理解が必須です．本勉強会では，大量のデータから有益な情報を抜き出す手法の基礎を取得するべく，プログラミング言語Python，及びそのライブラリであるNumPy, pandas, scikit-learnを用いたデータ分析の手法を扱います．また，コードレビューを通じた，コーディングを行う上での常識の会得も試みます．
[Read More]
コンピュータグラフィクス
Posted on January 7, 2021
概要
コンピュータグラフィックス (CG) は，実世界のモノの見え方を決定する諸要因をコンピュータ内にモデリング，シミュレーション，そして画像生成 (レンダリング) する技術です．近年では，コンピュータグラフィックスとコンピュータビジョン (CV) の融合分野が盛んに研究されています．具体的には，物体中心の3次元認識に関する基盤技術や，仮想現実感 (VR) や拡張現実感 (AR) などの応用分野に至るまで注目を集めています．
[Read More]
速習強化学習
Posted on October 11, 2020
概要
速習強化学習は，強化学習におけるバイブル的な存在であるSutton本に対し，新たなアルゴリズムを加えつつ，非常に簡潔にまとめられたAlgorithms for Reinforcement Learningという本の訳本です．速習強化学習はその名の通り，100ページにまとめられていて”速習”が可能であり，今回は強化学習の学習経験のあるメンバーに初学の新たな参加者を加え輪読を行うこととなりました．そのため，前半は速習強化学習を輪読する形式で強化学習の数理的な基礎部分への理解を深め，後半は学習経験あるのメンバーが最近の手法 (DDPG, PPO, R2D3, Agent57など) について調べて発表を行うことで，参加者それぞれのレベルに応じて強化学習への理解を深める勉強会になっています．
[Read More]
ベイズ機械学習/深層学習
Posted on October 11, 2020
概要
ベイズ主義は，エニグマ解読の話で一躍注目されてから，近年計算機の発展とともに応用範囲が拡大し，ますます注目を集めている統計学的手法のひとつです．ベイズ主義は頻度主義と比較して，確率に不確実性を持たせるというアプローチのもと非常に優れた精度と高い柔軟性を達成し，今では機械学習や深層学習のコアの部分の実装に欠かせない統計学的手法となっています．また，レコメンデーションや制御，生成モデルなど，ベイズ統計学の活用により目覚ましい発展を遂げた分野も数多く存在します．勉強会では，ベイズ主義の考え方が機械学習や深層学習理論と応用でどのように使われているかについて学びます．
[Read More]
アルゴリズムとデータ構造
Posted on October 3, 2020
概要
アルゴリズムとデータ構造は様々な数理的問題を解くための基本的な考え方であり，学習・推論が遅くルーチン処理が多出する機械学習ソフトウェアにとっても，アルゴリズムの高速化は非常に大きな役割を持ちます．近年，数値計算や深層学習向けライブラリが整備され，使用者は多くのアルゴリズムの知識を必要とせずとも実装できますが，開発する立場では，内部処理を十分に理解しておく必要があり，本勉強会を企画するに至りました．本勉強会においては，「レッドコーダーが教える、競プロ・AtCoder上達のガイドライン【中級編：目指せ水色コーダー！】」を参考に，記載されているの各アルゴリズムからAtCoderの問題を各1問抜粋して上限1時間を目処に解き，その後解法についてディスカッションすることでアルゴリズムとデータ構造についての理解を深めます．
[Read More]
線形代数
Posted on September 11, 2020
概要
機械学習や深層学習について学ぶ上で必要な，線形代数の標準的な知識を身につけるために，有志で輪読形式の勉強会を開催します．扱う本は『線形代数I』と『線形代数II』の2冊です．『線形代数I』では，行列の基本演算や性質，固有値，2次形式，特異値，ベクトル空間について学び，『線形代数II』では，線形代数の応用分野について学習します．毎回の勉強会では，開始時刻から30分間小テストを行い，小テスト終了後，発表担当者が各章の大まかな内容と，読み進める上で理解し難かった箇所について説明します．
[Read More]
画像処理
Posted on August 29, 2020
概要
画像処理とは，デジタル画像に変形や変換，合成等を施すことで，画像の特徴抽出や扱いやすいデータへの加工等を行う技術を指します．画像処理は，機械学習の応用の一つである画像認識において重要な役割を担い，特に画像データの前処理等では画像処理の知識が欠かせません．本勉強会では，画像処理アルゴリズムの実装に関する問題を100題提供する「画像処理100本ノック!!」を活用し，画像処理に関する諸知識を習得することを目的とします．参加者は毎週10題を各自で実装し，毎回の勉強会では代表者が画像処理アルゴリズムやコードの解説を行います．また，各自で調査した関連技術の発表やコードレビューを行うことで，発展的内容に関する知識の拡充を図ります．
[Read More]
マルチモーダル学習
Posted on August 2, 2020
概要
近年の画像認識の分野の発展に伴い，画像だけではなく他の形式の異なるデータとの併用で解析していく研究が盛んになり始めました．このような複数の異なるデータを元に機械学習をしていく学習の仕方をMultimodal学習と言います．
人間は五感をはじめとする様々な情報を取り入れることで外界の情報を処理しています．そのような学習の先駆けとして今回のセミナーではMultimodal学習に関する基本的な知識とその応用例などにも触れたサーベイの発表をします．
[Read More]
機械学習
Posted on July 5, 2020
概要
MLaPPは，PRMLと同様に機会学習の網羅本として知られていますが，ベイズ的アプローチではなく，Probabilistic approachという中立的な立場から頻度主義的立場も考慮し機械学習の諸概念が解説されています．さらに全28章の中でPRMLの発展的内容にも触れています．応用として分子生物学，言語処理，コンピュータビジョン，ロボティクスなどの問題も登場します．
[Read More]
機械学習と密度比推定
Posted on June 21, 2020
概要
異常検知とは，故障検知や詐欺検知など，産業応用上大変重要な技術であり，その応用例の豊富さと各ドメインにおける固有の難しさから従来より盛んに研究されてきました．本セミナーでは，異常検知の典型的な問題設定と固有の難しさを理解するとともに，異常検知における重要な技術の一つである，密度比推定を用いた異常検知の数理的手法とメリットを紹介しています．
[Read More]
音声分野における敵対的摂動
Posted on June 14, 2020
概要
近年，敵対的摂動という深層学習モデルの脆弱性を利用した攻撃手段が指摘され，それ以降，深層学習モデルに対する様々な攻撃手法及び防衛手法が指摘されてきました．敵対的摂動は深層学習モデルの挙動を改変するような摂動であり，かつ人間には知覚できない摂動であるため，深層学習の実世界への応用に際して人間には気づけない様々な問題を起こす可能性があり，その攻撃手段及び防衛手段の研究は重要な課題となっています．本セミナーでは，いくつかの攻撃手法及び防衛手法を紹介し，また，近年深層学習の応用が進む音声分野での敵対的摂動の論文を紹介します．
[Read More]
ページランク
Posted on June 14, 2020
概要
ページランクは，ウェブページの重要度を決定するアルゴリズムで，Googleの検索エンジンのシェア拡大の一因となった，非常に重要な手法です．通常，ページの遷移確率を基にべき乗法によりページの重要度を測ろうとすると値は発散してしまいます．しかし，遷移確率にランダムに移動する部分を加えたGoogle行列を作成することで，収束性を満たすページランクベクトルが得られると知られており，収束したベクトルからウェブページの重要度が測れるようになっています．ページランクは現在，ウェブページ以外にもグラフ構造をもつ様々なデータにおける各ノードの重要度の算出に用いられています．今回はNumPyを用いて実装し，ノードとエッジを持つ任意の有向グラフに対してノードの重要度を測ることが可能となっています．
[Read More]
GPU
Posted on June 7, 2020
概要
Graphics Processing Unit (GPU) とは，コンピュータグラフィックスなどの演算を専門に行う演算装置であり，近年では大量の演算を必要とする深層学習の計算資源としても用いられています．しかし，通常は深層学習を行う上でGPUを直接取り扱うことはないため，その仕組みや性質を知らないままGPUを利用している人もいます．本セミナーでは，GPUの基本的なアーキテクチャを紹介し，さらに，GPUが解ける問題の範囲や，GPUを用いる際の適切な処理の方針をGPUのアーキテクチャに基づいて解説します．
[Read More]
Capsule Network
Posted on June 7, 2020
概要
G. E. Hinton氏が提唱した新たなNeural NetworkであるCapsule Network (CapsNet) に注目が集まっています．CapsNetは，人の脳の仕組みを参考に考えられたNeural Networkであり，Networkの構成，Networkの更新において独自の仕組みが取り入れられています．本発表ではCapsNetの提唱された背景，詳細な仕組み，そしてCapsNetの発展の系譜について発表します．CapsNetは従来のCNNの弱点を克服しつつ，教師あり学習だけでなく自己教師あり学習においても応用されており，今後CapsNetが多岐にわたって応用されることが期待されています．
[Read More]
密度比推定
Posted on May 27, 2020
概要
機械学習の問題では，しばしば確率密度関数による比を推定する必要性が生じます．密度比をより精密に推定することを目的とした方法にはいくつか種類があり，それぞれ利点と欠点があります．本勉強会では，密度比推定の方法について，枠組みとなる基礎理論と特徴について学びます．
[Read More]
物体検出とOCR
Posted on May 24, 2020
概要
物体検出はコンピュータビジョンの中でも最も基本的で重要な問題の一つであり，画像に映る物体の種類の判別と物体の位置の特定を行うタスクです．物体検出は自動運転・ロボットビジョン・家電・セキュリティ・拡張現実などに応用されています．今回はR-CNNに始まり2016年までの代表的な深層学習ベースの物体検出モデルの紹介とその仕組みについて説明します．また，画像内の文字をテキストデータに変換する技術であるOCRへの応用例も紹介しています．
[Read More]
線形計算
Posted on May 24, 2020
概要
線形計算とは，行列に関する数値計算法です．行列に関する演算は数値シミュレーションやOR分野の計算など広く求められるため，応用上非常に重要な要素です．行列の演算をコンピュータ上で取り扱う際には，計算量の削減や演算結果の精度が問題となるため，実行環境や用途に合わせた線形計算アルゴリズムが多数考案されています．また，線形計算のアルゴリズムは，数学の分野の1つである可積分系との繋がりが指摘されています．本セミナーでは，基本的な線形計算のアルゴリズム及びその応用例を紹介し，さらに，可積分系と線形計算アルゴリズムとの繋がりを紹介しています．
[Read More]
指ロボットと外骨格の制御
Posted on May 17, 2020
概要
近年，深層学習をロボティクスへ応用した手法として深層強化学習が盛んになってきており，ロボットハンドの把持タスク等に応用されています．そこで今回，そのような手法を学ぶ足掛かりとして，ロボットハンドの種類や，ロボットハンドと関連のある外骨格グローブを紹介しています．また，古典的な制御手法であるPID制御を基礎から解説しています．さらに，最近の深層学習関連の研究においてもPID制御が使用されている例を紹介しています．
[Read More]
強化学習とゲーム理論とマルチエージェント
Posted on May 17, 2020
概要
AlphaGoで注目を集めてから，近年では自動運転やロボット制御など，強化学習は様々な場面で活躍しています．その強化学習の一分野としてマルチエージェント化が昨今では議論されていますが，マルチエージェント強化学習では，シングルエージェントの場合と比較して，幾分か最適化が複雑になっています．より具体的には，エージェントが1体のみの場合は，各エージェントが環境との相互作用の中で将来的に得られる報酬を単純に最大化すれば十分ですが，マルチエージェントの場合，互いの相互作用や社会的ジレンマのようなゲーム的状況の発生を考慮しなければなりません．そこで今回は，強化学習の基礎の部分からマルチエージェント強化学習へのアプローチまでを，人間社会で考察されているゲーム理論と絡めながら，分かりやすく包括的に解説しています．
[Read More]
OpenAI Gym チュートリアル
Posted on May 17, 2020
概要
強化学習は，意思決定と運動制御に関係する機械学習分野の一つです．複雑で不確実な環境において，エージェントが目標達成する方法をどのように学習するかを研究しています．しかし，論文中で使用される環境の標準化が進んでいない問題があります．報酬関数や行動集合等の問題定義の微妙な違いが，タスクの難易度を大きく変える可能性があり，発表された研究の再現や異なる論文の結果の比較が困難になります．Gymライブラリは強化学習アルゴリズムを開発するための環境を集めたもので，先の問題を解決する標準的な学習環境として広く利用されています．これらの環境には共有インターフェースがあり，一般的なアルゴリズムを書くことができます． また，エージェントの構造については何も仮定しておらず，任意の数値計算ライブラリ (e.g., PyTorch, TensorFlow) と互換性があります．
[Read More]
GANとStyleGAN(v2)
Posted on May 10, 2020
概要
敵対的生成ネットワーク(GAN)は深層生成モデルの一つであり，適切に学習すれば，学習訓練データ集合に無く，かつ訓練データと見分けがつかないよいうなデータを生成することができます．本セミナーでは，近年世界に衝撃を与えたGANであるStyleGANを中心にして，GANの構造を説明します．さらに発展的な話題として，現実画像を潜在変数空間に落とし込む手法も説明します．
[Read More]
密度比推定入門
Posted on May 10, 2020
概要
密度比推定は，パターン認識，転移学習，異常・変化検知などの問題で確率密度関数の比を推定する必要性が生じた際に適用される機械学習手法のひとつです．密度比推定は機械学習の問題にしばしば登場することから，これまでにより精度の高い密度比推定を行うための様々な手法が提案されています．本発表では密度比推定の様々な手法を紹介し，それぞれの手法がもつ特徴を比較します．さらに密度比の具体的な応用例を簡単に説明します．
[Read More]
VAEとWorld Models
Posted on May 3, 2020
概要
深層生成モデルであるVAEは表現学習手法の面で注目されています．また，最近では知能の計算モデルと関係性が深い世界モデル (World Models) と呼ばれるVAEベースの手法がICLR，NeurIPS界隈でよく研究されています．本発表では基礎的なVAEの理論的側面から，系列データ処理のために拡張された系列VAE，そして，World Modelsの動向について発表します．World Modelsの論文は生成モデルと強化学習の枠組みを利用し，観測データから外界をシミュレートするものです．これは知能のモデル化に関して大きな貢献となりました．
[Read More]
情報幾何学
Posted on April 18, 2020
概要
情報幾何学は，近年盛んに研究・応用されている機械学習を幾何的に解釈することを可能にするだけでなく，統計学や情報理論，統計力学などを微分幾何の観点から包括的に記述することも可能にする理論です．本勉強会では，書籍『情報幾何学の基礎』に沿って情報幾何学の枠組みを学習すると共に，基礎となる多様体論や微分幾何について理解します．
[Read More]
MLP強化学習
Posted on April 12, 2020
概要
逐次的な意思決定ルールを学習する強化学習が，近年のデータ駆動型アプローチの発展の恩恵を受け，システムに関する知識が少ない状況でも学習目的を達成するようになり注目を集めています．さらに応用分野ではビジネス，金融，医療，ゲームなどの領域で活用が進んでいます．今回はこの強化学習を体系的かつ数理的に理解するため，本勉強会を企画し，ベルマン方程式，TD学習，方策勾配，POMDP，深層強化学習などを扱います．
[Read More]
画像認識
Posted on April 5, 2020
概要
画像認識とは，画像に写っているものを計算機が識別する技術のことです．画像認識は，パターン認識や機械学習，応用先の経験的な知識など，扱う内容が多く，また，人工知能ブームに伴い，広大かつ膨大な画像認識に関する手法が提案されてきました．本勉強会では画像認識における知識を体系的に身につけるべく，古典的手法，それらをまとめてモデル化するニューラルネットワーク，物体検出，セマンティックセグメンテーション，画像生成などを扱います．
[Read More]
パターン認識と機械学習
Posted on March 22, 2020
概要
機械学習のバイブルとして知られるPRMLを通して，ベイズ理論に基づいた統一的な視点から，機械学習とパターン認識に関する理論や手法を理解します．本勉強会では，確率分布，線形回帰/識別，カーネル法，SVM，グラフィカルモデル，EMアルゴリズム，変分ベイズ法，モンテカルロ法，次元削減，隠れマルコフモデル，アンサンブルなど多岐にわたるトピックを扱います．
[Read More]
自然言語処理
Posted on February 23, 2020
概要
自然言語処理とは人間が日常生活で扱う言語に対する処理のことで，言語モデルの構築や，分散表現の獲得や，系列変換モデルの構築などの処理があります．近年の深層学習を用いた自然言語処理の盛んな研究により，様々な自然言語処理タスクの性能が向上しました．本勉強会では，ニューラルネットの基礎から自然言語処理の応用までを学び，深層学習を用いた自然言語処理を体系的に理解するとともに，汎化誤差の低減方法やGPUを用いた効率の良い計算方法など深層学習の実装上の工夫も学びます．
[Read More]
代数幾何と学習理論
Posted on January 31, 2020
概要
機械学習における学習理論とは，学習に使われるモデルの良さや学習する過程での仕組みなどを統計学の視点から解明する理論です．近年，機械学習の原理を数学を用いて理解することへの関心は高まりつつある一方で，未だ原理の大部分が謎に包まれています．本勉強会では，書籍『代数幾何と学習理論』に沿って現時点で既に存在する学習理論の仕組みと応用について理解することを目的とし，その準備として多様体論，代数幾何，超関数論，確率論及び経験過程の基礎を学びます．
[Read More]
機械学習コンペティション
Posted on December 1, 2019
概要
このプロジェクトでは，統計学的な分析能力から実装力まで幅広く身に着けることを目的として，チームを組んでKaggleやSIGNATEなどのコンペティションへ参加します．具体的には，コンペティションへの参加を通してデータ分析フローのスキル，手法のリサーチスキルの獲得を目指し，最終的にはKaggle Masterを目指します．
[Read More]
Attentionチュートリアル
Posted on April 29, 2019
概要
2017年 “Attention Is All You Need” という論文が Googleから発表され，機械翻訳の分野で既存のRNN，LSTM，GRU等のモデルを大きく上回る結果となりました．提案されたTransformerモデルは，従来のRNNやCNNを使用せず，Attention機構のみを用いるSeq2Seqモデルです．今回は，このAttention機構を実装ベースで理解します．RNNと異なり並列計算が可能で計算が高速な上，Self-Attentionと呼ばれる機構を用いることにより，局所的な情報しか参照できないCNNと異なり，系列内の任意の位置情報を参照することができます．現在，自然言語処理のデファクトスタンダードとなっているBERTはこのTransformerに端を発しています．さらに，類似手法が，画像認識，生成モデル，音声認識などの分野で幅広く利用されています．このようにAttentionの動作原理を理解することは，深層学習分野において極めて重要です．
[Read More]