Doğal dil işleme (DDİ), bilgi çağında çok önemli bir teknoloji olarak öne çıkmaktadır. İnsan iletişiminin web aramaları, reklamlar ve e-postalardan müşteri hizmetleri, dil çevirisi, sanal aracılar, tıbbi raporlar ve siyasi söylemlere kadar çok çeşitli faaliyetleri kapsadığı düşünüldüğünde, DDİ uygulamaları hayatımızın çeşitli yönlerini etkilemektedir. Son on yılda, yapay sinir ağı yaklaşımlarını kullanan derin öğrenme, çok sayıda DDİ uygulamalarında dikkate değer bir başarı göstermiştir. Derin öğrenme, geleneksel, göreve özgü özellik mühendisliği ihtiyacını ortadan kaldırmaktadır. Bu ders, öğrencilere DDİ için Derin Öğrenme alanındaki en son gelişmeleri kapsamlı olarak sunmaktadır. Dersler, ödevler ve final projesinden oluşan bir kombinasyon aracılığıyla katılımcıların, farklı sinir ağı modellerini kavramsallaştırmak, uygulamak ve anlamak için gerekli becerileri elde edinmeleri sağlanacaktır.
Dersin İçeriği
Bu ders; Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş,DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri,Vektör Anlam bilimi ve Temsili,Dil Modelleri,Sinir Ağları ve Sinirsel Dil Modelleri ,Tekrarlayan Sinir Ağları ve Dil Modelleri,Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri,Sınav haftası,Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri,Dönüştürücüler,İnce Ayar ve Maskelenmiş Dil Modelleri,Sorgulama ve Talimat Ayarlama,Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm,Proje sunumları; konularını içermektedir.
Dersin Öğrenme Kazanımları
Öğretim Yöntemleri
Ölçme Yöntemleri
Gerçek dünya problemlerini çözmek için ileri doğal dil işleme tekniklerini tanır
2
E
NLP için son teknoloji derin öğrenme mimarilerini analiz eder
16, 2
D, F
NLP için yaygın derin sinir ağı modellerini uygular
12, 14, 21, 6, 9
A, D, G
Derin öğrenmenin doğal dil işlemeye uygulanmasına ilişkin araştırma literatürünü değerlendirebilme, ve doğal dil işleme için derin öğrenme mimarileri ile bir araştırma projesi hazırlama ve içeriğini sözlü bir sunumla özetleyebilme.
14, 2
F
Öğretim Yöntemleri:
12: Problem Çözme Yöntemi, 14: Bireysel Çalışma Yöntemi, 16: Soru - Cevap Tekniği , 2: Proje Temelli Öğrenme Modeli, 21: Benzetim/Simülasyon Tekniği, 6: Deneyimle Öğrenme Modeli, 9: Anlatım Yöntemi
Ölçme Yöntemleri:
A: Klasik Yazılı Sınav, D: Sözlü Sınav, E: Ödev, F: Proje Görevi, G: Kısa Sınav
Ders Akışı
Sıra
Konular
Ön Hazırlık
1
Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş
2
DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri
3
Vektör Anlam bilimi ve Temsili
4
Dil Modelleri
5
Sinir Ağları ve Sinirsel Dil Modelleri
6
Tekrarlayan Sinir Ağları ve Dil Modelleri
7
Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri
8
Sınav haftası
9
Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri
10
Dönüştürücüler
11
İnce Ayar ve Maskelenmiş Dil Modelleri
12
Sorgulama ve Talimat Ayarlama
13
Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm
14
Proje sunumları
Kaynak
- Dan Jurafsky and James H. Martin. Speech and Language Processing
- Jacob Eisenstein. Natural Language Processing
- Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing
- Delip Rao and Brian McMahan. Natural Language Processing with PyTorch
- Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers
Natural Language Processing with Python, Steven Bird, Ewan Klein, and Edward Loper at http://www.nltk.org/book/
Dersin Program Yeterliliklerine Katkısı
Dersin Program Yeterliliklerine Katkısı
No
Program Yeterliliği
Katkı Düzeyi
1
2
3
4
5
1
Temel bilimleri, matematik ve mühendislik bilimlerini üst düzeyde anlar ve uygular, alanında en son gelişmeler dahil olmak üzere genişlemesine ve derinlemesine bilgi sahibidir.
X
2
Mühendisliğin ilişkili olduğu disiplinler arası etkileşimi kavrar, yeni ve karmaşık fikirleri analiz, sentez ve değerlendirmede uzmanlık gerektiren bilgileri kullanarak özgün sonuçlara ulaşır.
X
3
Bir alanda en yeni bilgilere ulaşır ve bunları kavrayarak araştırma yapabilmek için gerekli yöntem ve becerilerde üst düzeyde yeterliğe sahiptir.
X
4
Bilime veya teknolojiye yenilik getiren, yeni bir bilimsel yöntem veya teknolojik ürün/süreç geliştiren ya da bilinen bir yöntemi yeni bir alana uygulayan kapsamlı bir çalışma yapar.
5
Akademik çalışmalarının çıktılarını saygın akademik ortamlarda yayınlayarak bilim ve teknoloji literatürüne katkıda bulunur.
X
6
Bilimsel, teknolojik, sosyal ve kültürel gelişmeleri değerlendirerek bilimsel tarafsızlık ve etik sorumluluk bilinciyle topluma aktarır.
7
Özgün bir araştırma sürecini bağımsız olarak algılar, tasarlar, uygular ve sonuçlandırır; bu süreci yönetir.
X
8
Bilimsel bilgi birikimini yazılı ve sözlü olarak etkin bir şekilde ifade eder, en az bir yabancı dilde Avrupa Dil Portföyü C1 Genel Düzeyinde iletişim kurar ve iletişim teknolojilerini ileri düzeyde kullanır
X
9
Uzmanlık alanındaki fikirlerin ve gelişmelerin eleştirel analizini, sentezini ve değerlendirmesini yapar.
X
10
Mühendislik alanındaki bilimsel, teknolojik, sosyal veya kültürel ilerlemeleri tanıtır, yaşadığı toplumun bilgi toplumu olma ve bunu sürdürebilme sürecine katkıda bulunur ve toplumsal, bilimsel, kültürel ve etik değerlerin gelişimini destekler.
X
Değerlendirme Sistemi
Katkı Düzeyi
Mutlak Değerlendirme
Ara Sınavın Başarıya Oranı
50
Genel Sınavın Başarıya Oranı
50
Toplam
100
AKTS / İşyükü Tablosu
Etkinlik
Sayı
Süresi (Saat)
Toplam İş Yükü (Saat)
Ders Saati
14
3
42
Rehberli Problem Çözme
0
0
0
Problem Çözümü / Ödev / Proje / Rapor Tanzimi
10
2
20
Okul Dışı Diğer Faaliyetler
0
0
0
Proje Sunumu / Seminer
8
10
80
Kısa Sınav (QUİZ) ve Hazırlığı
6
3
18
Ara Sınav ve Hazırlığı
1
30
30
Genel Sınav ve Hazırlığı
1
50
50
Performans Görevi, Bakım Planı
0
0
0
Toplam İş Yükü (Saat)
240
Dersin AKTS Kredisi = Toplam İş Yükü (Saat)/30*=(240/30)
8
Dersin AKTS Kredisi: *30 saatlik çalışma 1 AKTS kredisi sayılmaktadır.
Dersin Detaylı Bilgileri
Ders Tanımı
Ders
Kodu
Yarıyıl
T+U Saat
Kredi
AKTS
DERİN ÖĞRENME İLE DOĞAL DİL İŞLEME
COED1113992
Güz Dönemi
3+0
3
8
Ders Programı
Ön Koşul Dersleri
Önerilen Seçmeli Dersler
Dersin Dili
İngilizce
Dersin Seviyesi
Doktora
Dersin Türü
Programa Bağlı Seçmeli
Dersin Koordinatörü
Prof.Dr. Selim AKYOKUŞ
Dersi Verenler
Prof.Dr. Selim AKYOKUŞ
Dersin Yardımcıları
Dersin Amacı
Doğal dil işleme (DDİ), bilgi çağında çok önemli bir teknoloji olarak öne çıkmaktadır. İnsan iletişiminin web aramaları, reklamlar ve e-postalardan müşteri hizmetleri, dil çevirisi, sanal aracılar, tıbbi raporlar ve siyasi söylemlere kadar çok çeşitli faaliyetleri kapsadığı düşünüldüğünde, DDİ uygulamaları hayatımızın çeşitli yönlerini etkilemektedir. Son on yılda, yapay sinir ağı yaklaşımlarını kullanan derin öğrenme, çok sayıda DDİ uygulamalarında dikkate değer bir başarı göstermiştir. Derin öğrenme, geleneksel, göreve özgü özellik mühendisliği ihtiyacını ortadan kaldırmaktadır. Bu ders, öğrencilere DDİ için Derin Öğrenme alanındaki en son gelişmeleri kapsamlı olarak sunmaktadır. Dersler, ödevler ve final projesinden oluşan bir kombinasyon aracılığıyla katılımcıların, farklı sinir ağı modellerini kavramsallaştırmak, uygulamak ve anlamak için gerekli becerileri elde edinmeleri sağlanacaktır.
Dersin İçeriği
Bu ders; Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş,DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri,Vektör Anlam bilimi ve Temsili,Dil Modelleri,Sinir Ağları ve Sinirsel Dil Modelleri ,Tekrarlayan Sinir Ağları ve Dil Modelleri,Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri,Sınav haftası,Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri,Dönüştürücüler,İnce Ayar ve Maskelenmiş Dil Modelleri,Sorgulama ve Talimat Ayarlama,Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm,Proje sunumları; konularını içermektedir.
Dersin Öğrenme Kazanımları
Öğretim Yöntemleri
Ölçme Yöntemleri
Gerçek dünya problemlerini çözmek için ileri doğal dil işleme tekniklerini tanır
2
E
NLP için son teknoloji derin öğrenme mimarilerini analiz eder
16, 2
D, F
NLP için yaygın derin sinir ağı modellerini uygular
12, 14, 21, 6, 9
A, D, G
Derin öğrenmenin doğal dil işlemeye uygulanmasına ilişkin araştırma literatürünü değerlendirebilme, ve doğal dil işleme için derin öğrenme mimarileri ile bir araştırma projesi hazırlama ve içeriğini sözlü bir sunumla özetleyebilme.
14, 2
F
Öğretim Yöntemleri:
12: Problem Çözme Yöntemi, 14: Bireysel Çalışma Yöntemi, 16: Soru - Cevap Tekniği , 2: Proje Temelli Öğrenme Modeli, 21: Benzetim/Simülasyon Tekniği, 6: Deneyimle Öğrenme Modeli, 9: Anlatım Yöntemi
Ölçme Yöntemleri:
A: Klasik Yazılı Sınav, D: Sözlü Sınav, E: Ödev, F: Proje Görevi, G: Kısa Sınav
Ders Akışı
Sıra
Konular
Ön Hazırlık
1
Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş
2
DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri
3
Vektör Anlam bilimi ve Temsili
4
Dil Modelleri
5
Sinir Ağları ve Sinirsel Dil Modelleri
6
Tekrarlayan Sinir Ağları ve Dil Modelleri
7
Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri
8
Sınav haftası
9
Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri
10
Dönüştürücüler
11
İnce Ayar ve Maskelenmiş Dil Modelleri
12
Sorgulama ve Talimat Ayarlama
13
Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm
14
Proje sunumları
Kaynak
- Dan Jurafsky and James H. Martin. Speech and Language Processing
- Jacob Eisenstein. Natural Language Processing
- Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing
- Delip Rao and Brian McMahan. Natural Language Processing with PyTorch
- Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers
Natural Language Processing with Python, Steven Bird, Ewan Klein, and Edward Loper at http://www.nltk.org/book/
Dersin Program Yeterliliklerine Katkısı
Dersin Program Yeterliliklerine Katkısı
No
Program Yeterliliği
Katkı Düzeyi
1
2
3
4
5
1
Temel bilimleri, matematik ve mühendislik bilimlerini üst düzeyde anlar ve uygular, alanında en son gelişmeler dahil olmak üzere genişlemesine ve derinlemesine bilgi sahibidir.
X
2
Mühendisliğin ilişkili olduğu disiplinler arası etkileşimi kavrar, yeni ve karmaşık fikirleri analiz, sentez ve değerlendirmede uzmanlık gerektiren bilgileri kullanarak özgün sonuçlara ulaşır.
X
3
Bir alanda en yeni bilgilere ulaşır ve bunları kavrayarak araştırma yapabilmek için gerekli yöntem ve becerilerde üst düzeyde yeterliğe sahiptir.
X
4
Bilime veya teknolojiye yenilik getiren, yeni bir bilimsel yöntem veya teknolojik ürün/süreç geliştiren ya da bilinen bir yöntemi yeni bir alana uygulayan kapsamlı bir çalışma yapar.
5
Akademik çalışmalarının çıktılarını saygın akademik ortamlarda yayınlayarak bilim ve teknoloji literatürüne katkıda bulunur.
X
6
Bilimsel, teknolojik, sosyal ve kültürel gelişmeleri değerlendirerek bilimsel tarafsızlık ve etik sorumluluk bilinciyle topluma aktarır.
7
Özgün bir araştırma sürecini bağımsız olarak algılar, tasarlar, uygular ve sonuçlandırır; bu süreci yönetir.
X
8
Bilimsel bilgi birikimini yazılı ve sözlü olarak etkin bir şekilde ifade eder, en az bir yabancı dilde Avrupa Dil Portföyü C1 Genel Düzeyinde iletişim kurar ve iletişim teknolojilerini ileri düzeyde kullanır
X
9
Uzmanlık alanındaki fikirlerin ve gelişmelerin eleştirel analizini, sentezini ve değerlendirmesini yapar.
X
10
Mühendislik alanındaki bilimsel, teknolojik, sosyal veya kültürel ilerlemeleri tanıtır, yaşadığı toplumun bilgi toplumu olma ve bunu sürdürebilme sürecine katkıda bulunur ve toplumsal, bilimsel, kültürel ve etik değerlerin gelişimini destekler.
