Doğal dil işleme (DDİ), bilgi çağında çok önemli bir teknoloji olarak öne çıkmaktadır. İnsan iletişiminin web aramaları, reklamlar ve e-postalardan müşteri hizmetleri, dil çevirisi, sanal aracılar, tıbbi raporlar ve siyasi söylemlere kadar çok çeşitli faaliyetleri kapsadığı düşünüldüğünde, DDİ uygulamaları hayatımızın çeşitli yönlerini etkilemektedir. Son on yılda, yapay sinir ağı yaklaşımlarını kullanan derin öğrenme, çok sayıda DDİ uygulamalarında dikkate değer bir başarı göstermiştir. Derin öğrenme, geleneksel, göreve özgü özellik mühendisliği ihtiyacını ortadan kaldırmaktadır. Bu ders, öğrencilere DDİ için Derin Öğrenme alanındaki en son gelişmeleri kapsamlı olarak sunmaktadır. Dersler, ödevler ve final projesinden oluşan bir kombinasyon aracılığıyla katılımcıların, farklı sinir ağı modellerini kavramsallaştırmak, uygulamak ve anlamak için gerekli becerileri elde edinmeleri sağlanacaktır.
Course Content
Bu ders; Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş,DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri,Vektör Anlam bilimi ve Temsili,Dil Modelleri,Sinir Ağları ve Sinirsel Dil Modelleri ,Tekrarlayan Sinir Ağları ve Dil Modelleri,Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri,Sınav haftası,Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri,Dönüştürücüler,İnce Ayar ve Maskelenmiş Dil Modelleri,Sorgulama ve Talimat Ayarlama,Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm,Proje sunumları; konularını içermektedir.
Dersin Öğrenme Kazanımları
Teaching Methods
Assessment Methods
Gerçek dünya problemlerini çözmek için ileri doğal dil işleme tekniklerini tanır
2
E
NLP için son teknoloji derin öğrenme mimarilerini analiz eder
16, 2
D, F
NLP için yaygın derin sinir ağı modellerini uygular
12, 14, 21, 6, 9
A, D, G
Derin öğrenmenin doğal dil işlemeye uygulanmasına ilişkin araştırma literatürünü değerlendirebilme, ve doğal dil işleme için derin öğrenme mimarileri ile bir araştırma projesi hazırlama ve içeriğini sözlü bir sunumla özetleyebilme.
14, 2
F
Teaching Methods:
12: Problem Çözme Yöntemi, 14: Bireysel Çalışma Yöntemi, 16: Soru - Cevap Tekniği , 2: Proje Temelli Öğrenme Modeli, 21: Benzetim/Simülasyon Tekniği, 6: Deneyimle Öğrenme Modeli, 9: Anlatım Yöntemi
Assessment Methods:
A: Klasik Yazılı Sınav, D: Sözlü Sınav, E: Ödev, F: Proje Görevi, G: Kısa Sınav
Course Outline
Order
Subjects
Preliminary Work
1
Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş
2
DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri
3
Vektör Anlam bilimi ve Temsili
4
Dil Modelleri
5
Sinir Ağları ve Sinirsel Dil Modelleri
6
Tekrarlayan Sinir Ağları ve Dil Modelleri
7
Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri
8
Sınav haftası
9
Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri
10
Dönüştürücüler
11
İnce Ayar ve Maskelenmiş Dil Modelleri
12
Sorgulama ve Talimat Ayarlama
13
Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm
14
Proje sunumları
Resources
- Dan Jurafsky and James H. Martin. Speech and Language Processing
- Jacob Eisenstein. Natural Language Processing
- Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing
- Delip Rao and Brian McMahan. Natural Language Processing with PyTorch
- Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers
Natural Language Processing with Python, Steven Bird, Ewan Klein, and Edward Loper at http://www.nltk.org/book/
Course Contribution to Program Qualifications
Course Contribution to Program Qualifications
No
Program Qualification
Contribution Level
1
2
3
4
5
1
Temel bilimleri, matematik ve mühendislik bilimlerini üst düzeyde anlar ve uygular, alanında en son gelişmeler dahil olmak üzere genişlemesine ve derinlemesine bilgi sahibidir.
X
2
Mühendisliğin ilişkili olduğu disiplinler arası etkileşimi kavrar, yeni ve karmaşık fikirleri analiz, sentez ve değerlendirmede uzmanlık gerektiren bilgileri kullanarak özgün sonuçlara ulaşır.
X
3
Bir alanda en yeni bilgilere ulaşır ve bunları kavrayarak araştırma yapabilmek için gerekli yöntem ve becerilerde üst düzeyde yeterliğe sahiptir.
X
4
Bilime veya teknolojiye yenilik getiren, yeni bir bilimsel yöntem veya teknolojik ürün/süreç geliştiren ya da bilinen bir yöntemi yeni bir alana uygulayan kapsamlı bir çalışma yapar.
5
Akademik çalışmalarının çıktılarını saygın akademik ortamlarda yayınlayarak bilim ve teknoloji literatürüne katkıda bulunur.
X
6
Bilimsel, teknolojik, sosyal ve kültürel gelişmeleri değerlendirerek bilimsel tarafsızlık ve etik sorumluluk bilinciyle topluma aktarır.
7
Özgün bir araştırma sürecini bağımsız olarak algılar, tasarlar, uygular ve sonuçlandırır; bu süreci yönetir.
X
8
Bilimsel bilgi birikimini yazılı ve sözlü olarak etkin bir şekilde ifade eder, en az bir yabancı dilde Avrupa Dil Portföyü C1 Genel Düzeyinde iletişim kurar ve iletişim teknolojilerini ileri düzeyde kullanır
X
9
Uzmanlık alanındaki fikirlerin ve gelişmelerin eleştirel analizini, sentezini ve değerlendirmesini yapar.
X
10
Mühendislik alanındaki bilimsel, teknolojik, sosyal veya kültürel ilerlemeleri tanıtır, yaşadığı toplumun bilgi toplumu olma ve bunu sürdürebilme sürecine katkıda bulunur ve toplumsal, bilimsel, kültürel ve etik değerlerin gelişimini destekler.
X
Assessment Methods
Contribution Level
Absolute Evaluation
Rate of Midterm Exam to Success
50
Rate of Final Exam to Success
50
Total
100
ECTS / Workload Table
Activities
Number of
Duration(Hour)
Total Workload(Hour)
Ders Saati
14
3
42
Rehberli Problem Çözme
0
0
0
Problem Çözümü / Ödev / Proje / Rapor Tanzimi
10
2
20
Okul Dışı Diğer Faaliyetler
0
0
0
Proje Sunumu / Seminer
8
10
80
Kısa Sınav (QUİZ) ve Hazırlığı
6
3
18
Ara Sınav ve Hazırlığı
1
30
30
Genel Sınav ve Hazırlığı
1
50
50
Performans Görevi, Bakım Planı
0
0
0
Total Workload(Hour)
240
Dersin AKTS Kredisi = Toplam İş Yükü (Saat)/30*=(240/30)
8
ECTS of the course: 30 hours of work is counted as 1 ECTS credit.
Detail Informations of the Course
Course Description
Course
Code
Semester
T+P (Hour)
Credit
ECTS
DERİN ÖĞRENME İLE DOĞAL DİL İŞLEME
COED1213992
Bahar Dönemi
3+0
3
8
Course Program
Prerequisites Courses
Recommended Elective Courses
Language of Course
İngilizce
Course Level
Doktora
Course Type
Programa Bağlı Seçmeli
Course Coordinator
Prof.Dr. Selim AKYOKUŞ
Name of Lecturer(s)
Prof.Dr. Selim AKYOKUŞ
Assistant(s)
Aim
Doğal dil işleme (DDİ), bilgi çağında çok önemli bir teknoloji olarak öne çıkmaktadır. İnsan iletişiminin web aramaları, reklamlar ve e-postalardan müşteri hizmetleri, dil çevirisi, sanal aracılar, tıbbi raporlar ve siyasi söylemlere kadar çok çeşitli faaliyetleri kapsadığı düşünüldüğünde, DDİ uygulamaları hayatımızın çeşitli yönlerini etkilemektedir. Son on yılda, yapay sinir ağı yaklaşımlarını kullanan derin öğrenme, çok sayıda DDİ uygulamalarında dikkate değer bir başarı göstermiştir. Derin öğrenme, geleneksel, göreve özgü özellik mühendisliği ihtiyacını ortadan kaldırmaktadır. Bu ders, öğrencilere DDİ için Derin Öğrenme alanındaki en son gelişmeleri kapsamlı olarak sunmaktadır. Dersler, ödevler ve final projesinden oluşan bir kombinasyon aracılığıyla katılımcıların, farklı sinir ağı modellerini kavramsallaştırmak, uygulamak ve anlamak için gerekli becerileri elde edinmeleri sağlanacaktır.
Course Content
Bu ders; Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş,DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri,Vektör Anlam bilimi ve Temsili,Dil Modelleri,Sinir Ağları ve Sinirsel Dil Modelleri ,Tekrarlayan Sinir Ağları ve Dil Modelleri,Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri,Sınav haftası,Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri,Dönüştürücüler,İnce Ayar ve Maskelenmiş Dil Modelleri,Sorgulama ve Talimat Ayarlama,Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm,Proje sunumları; konularını içermektedir.
Dersin Öğrenme Kazanımları
Teaching Methods
Assessment Methods
Gerçek dünya problemlerini çözmek için ileri doğal dil işleme tekniklerini tanır
2
E
NLP için son teknoloji derin öğrenme mimarilerini analiz eder
16, 2
D, F
NLP için yaygın derin sinir ağı modellerini uygular
12, 14, 21, 6, 9
A, D, G
Derin öğrenmenin doğal dil işlemeye uygulanmasına ilişkin araştırma literatürünü değerlendirebilme, ve doğal dil işleme için derin öğrenme mimarileri ile bir araştırma projesi hazırlama ve içeriğini sözlü bir sunumla özetleyebilme.
14, 2
F
Teaching Methods:
12: Problem Çözme Yöntemi, 14: Bireysel Çalışma Yöntemi, 16: Soru - Cevap Tekniği , 2: Proje Temelli Öğrenme Modeli, 21: Benzetim/Simülasyon Tekniği, 6: Deneyimle Öğrenme Modeli, 9: Anlatım Yöntemi
Assessment Methods:
A: Klasik Yazılı Sınav, D: Sözlü Sınav, E: Ödev, F: Proje Görevi, G: Kısa Sınav
Course Outline
Order
Subjects
Preliminary Work
1
Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş
2
DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri
3
Vektör Anlam bilimi ve Temsili
4
Dil Modelleri
5
Sinir Ağları ve Sinirsel Dil Modelleri
6
Tekrarlayan Sinir Ağları ve Dil Modelleri
7
Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri
8
Sınav haftası
9
Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri
10
Dönüştürücüler
11
İnce Ayar ve Maskelenmiş Dil Modelleri
12
Sorgulama ve Talimat Ayarlama
13
Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm
14
Proje sunumları
Resources
- Dan Jurafsky and James H. Martin. Speech and Language Processing
- Jacob Eisenstein. Natural Language Processing
- Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing
- Delip Rao and Brian McMahan. Natural Language Processing with PyTorch
- Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers
Natural Language Processing with Python, Steven Bird, Ewan Klein, and Edward Loper at http://www.nltk.org/book/
Course Contribution to Program Qualifications
Course Contribution to Program Qualifications
No
Program Qualification
Contribution Level
1
2
3
4
5
1
Temel bilimleri, matematik ve mühendislik bilimlerini üst düzeyde anlar ve uygular, alanında en son gelişmeler dahil olmak üzere genişlemesine ve derinlemesine bilgi sahibidir.
X
2
Mühendisliğin ilişkili olduğu disiplinler arası etkileşimi kavrar, yeni ve karmaşık fikirleri analiz, sentez ve değerlendirmede uzmanlık gerektiren bilgileri kullanarak özgün sonuçlara ulaşır.
X
3
Bir alanda en yeni bilgilere ulaşır ve bunları kavrayarak araştırma yapabilmek için gerekli yöntem ve becerilerde üst düzeyde yeterliğe sahiptir.
X
4
Bilime veya teknolojiye yenilik getiren, yeni bir bilimsel yöntem veya teknolojik ürün/süreç geliştiren ya da bilinen bir yöntemi yeni bir alana uygulayan kapsamlı bir çalışma yapar.
5
Akademik çalışmalarının çıktılarını saygın akademik ortamlarda yayınlayarak bilim ve teknoloji literatürüne katkıda bulunur.
X
6
Bilimsel, teknolojik, sosyal ve kültürel gelişmeleri değerlendirerek bilimsel tarafsızlık ve etik sorumluluk bilinciyle topluma aktarır.
7
Özgün bir araştırma sürecini bağımsız olarak algılar, tasarlar, uygular ve sonuçlandırır; bu süreci yönetir.
X
8
Bilimsel bilgi birikimini yazılı ve sözlü olarak etkin bir şekilde ifade eder, en az bir yabancı dilde Avrupa Dil Portföyü C1 Genel Düzeyinde iletişim kurar ve iletişim teknolojilerini ileri düzeyde kullanır
X
9
Uzmanlık alanındaki fikirlerin ve gelişmelerin eleştirel analizini, sentezini ve değerlendirmesini yapar.
X
10
Mühendislik alanındaki bilimsel, teknolojik, sosyal veya kültürel ilerlemeleri tanıtır, yaşadığı toplumun bilgi toplumu olma ve bunu sürdürebilme sürecine katkıda bulunur ve toplumsal, bilimsel, kültürel ve etik değerlerin gelişimini destekler.
