Bu dersin amacı, doğal dilleri verimli ve güvenilir bir şekilde anlamak için sistemler ve algoritmalar geliştirmek üzere dilbilim, doğal dil işleme ve makine öğrenme yöntemlerinden teorik kavramları, yöntemleri ve algoritmaları öğretmektir. Konular arasında sözcüksel anlambilim, dağıtık anlam gösterimleri, bağlamsal dil gösterimi, büyük dil modelleri, bilgi erişimi ve Doğal Dil Anlama modellerinin ileri değerlendirmeleri, ilişki çıkarımı, anlamsal ayrıştırma, duygu analizi ve diyalog aracıları yer almaktadır. Öğrencilerin, alandaki en iyi uygulamaları takip etmeye odaklanarak doğal dil anlama alanında bir proje geliştirmeleri beklenmektedir.
Course Content
Bu ders; Doğal Dil Anlamaya Giriş (DDA),Metin temsilleri için matris tasarımları, ağırlıklandırma yöntemleri, uzaklıklar ve vektör karşılaştırmaları.,Boyutsallık azaltma ve temsil öğrenimi.,Dağıtılmış kelime gösterimleri,Denetimli duygu analizi,Derin Öğrenme ve Transformatörler,Bağlamsal Temsil Modelleri,Sınav haftasına Hazırlık,Büyük Dil Modelleri,Büyük dil modellerine ince ayar yapma,DDA ve Bilgi Erişim (BE) ,Temellendirilmiş dil anlayışı,Model değerlendirme yöntemleri ve metrikleri,Proje sunumları; konularını içermektedir.
Dersin Öğrenme Kazanımları
Teaching Methods
Assessment Methods
2. Transformatörler, BERT, ELECTRA ve GPT gibi bağlamsal kelime temsil modellerini kullanarak kelimeler arasındaki anlamsal ve sözdizimsel ilişkileri kavrar
16, 2
D, F
3. Sinirsel bilgi erişim sistemleri oluşturmak ve hem klasik hem de sinirsel bilgi erişim tekniklerini kullanarak metinlerden belirli bilgileri belirler
12, 14, 21, 6, 9
A, D, G
4. Öğrenci Tercihlerine göre bir Doğal Dil Anlama (NLU) araştırma projesi tasarlar ve uygular
14, 2
F
1. İnsan dilini etkili bir şekilde anlamak için sağlam dil modelleri, makine öğrenme sistemleri ve algoritmalar geliştirir
2
E
Teaching Methods:
12: Problem Çözme Yöntemi, 14: Bireysel Çalışma Yöntemi, 16: Soru - Cevap Tekniği , 2: Proje Temelli Öğrenme Modeli, 21: Benzetim/Simülasyon Tekniği, 6: Deneyimle Öğrenme Modeli, 9: Anlatım Yöntemi
Assessment Methods:
A: Klasik Yazılı Sınav, D: Sözlü Sınav, E: Ödev, F: Proje Görevi, G: Kısa Sınav
Course Outline
Order
Subjects
Preliminary Work
1
Doğal Dil Anlamaya Giriş (DDA)
2
Metin temsilleri için matris tasarımları, ağırlıklandırma yöntemleri, uzaklıklar ve vektör karşılaştırmaları.
3
Boyutsallık azaltma ve temsil öğrenimi.
4
Dağıtılmış kelime gösterimleri
5
Denetimli duygu analizi
6
Derin Öğrenme ve Transformatörler
7
Bağlamsal Temsil Modelleri
8
Sınav haftasına Hazırlık
9
Büyük Dil Modelleri
10
Büyük dil modellerine ince ayar yapma
11
DDA ve Bilgi Erişim (BE)
12
Temellendirilmiş dil anlayışı
13
Model değerlendirme yöntemleri ve metrikleri
14
Proje sunumları
Resources
- Dan Jurafsky and James H. Martin. Speech and Language Processing
- Jacob Eisenstein. Natural Language Processing
- Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing
- Delip Rao and Brian McMahan. Natural Language Processing with PyTorch
- Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers
- Seçilmiş Makaleler
- NLU alanındaki son teknoloji yazılım kaynakları
Natural Language Processing with Python, Steven Bird, Ewan Klein, and Edward Loper at http://www.nltk.org/book/
Course Contribution to Program Qualifications
Course Contribution to Program Qualifications
No
Program Qualification
Contribution Level
1
2
3
4
5
1
Temel bilimleri, matematik ve mühendislik bilimlerini üst düzeyde anlar ve uygular, alanında en son gelişmeler dahil olmak üzere genişlemesine ve derinlemesine bilgi sahibidir.
X
2
Mühendisliğin ilişkili olduğu disiplinler arası etkileşimi kavrar, yeni ve karmaşık fikirleri analiz, sentez ve değerlendirmede uzmanlık gerektiren bilgileri kullanarak özgün sonuçlara ulaşır.
X
3
Bir alanda en yeni bilgilere ulaşır ve bunları kavrayarak araştırma yapabilmek için gerekli yöntem ve becerilerde üst düzeyde yeterliğe sahiptir.
X
4
Bilime veya teknolojiye yenilik getiren, yeni bir bilimsel yöntem veya teknolojik ürün/süreç geliştiren ya da bilinen bir yöntemi yeni bir alana uygulayan kapsamlı bir çalışma yapar.
5
Akademik çalışmalarının çıktılarını saygın akademik ortamlarda yayınlayarak bilim ve teknoloji literatürüne katkıda bulunur.
X
6
Bilimsel, teknolojik, sosyal ve kültürel gelişmeleri değerlendirerek bilimsel tarafsızlık ve etik sorumluluk bilinciyle topluma aktarır.
7
Özgün bir araştırma sürecini bağımsız olarak algılar, tasarlar, uygular ve sonuçlandırır; bu süreci yönetir.
X
8
Bilimsel bilgi birikimini yazılı ve sözlü olarak etkin bir şekilde ifade eder, en az bir yabancı dilde Avrupa Dil Portföyü C1 Genel Düzeyinde iletişim kurar ve iletişim teknolojilerini ileri düzeyde kullanır
X
9
Uzmanlık alanındaki fikirlerin ve gelişmelerin eleştirel analizini, sentezini ve değerlendirmesini yapar.
X
10
Mühendislik alanındaki bilimsel, teknolojik, sosyal veya kültürel ilerlemeleri tanıtır, yaşadığı toplumun bilgi toplumu olma ve bunu sürdürebilme sürecine katkıda bulunur ve toplumsal, bilimsel, kültürel ve etik değerlerin gelişimini destekler.
X
Assessment Methods
Contribution Level
Absolute Evaluation
Rate of Midterm Exam to Success
50
Rate of Final Exam to Success
50
Total
100
ECTS / Workload Table
Activities
Number of
Duration(Hour)
Total Workload(Hour)
Ders Saati
14
3
42
Rehberli Problem Çözme
0
0
0
Problem Çözümü / Ödev / Proje / Rapor Tanzimi
10
2
20
Okul Dışı Diğer Faaliyetler
0
0
0
Proje Sunumu / Seminer
8
10
80
Kısa Sınav (QUİZ) ve Hazırlığı
6
3
18
Ara Sınav ve Hazırlığı
1
30
30
Genel Sınav ve Hazırlığı
1
50
50
Performans Görevi, Bakım Planı
0
0
0
Total Workload(Hour)
240
Dersin AKTS Kredisi = Toplam İş Yükü (Saat)/30*=(240/30)
8
ECTS of the course: 30 hours of work is counted as 1 ECTS credit.
Detail Informations of the Course
Course Description
Course
Code
Semester
T+P (Hour)
Credit
ECTS
DOĞAL DİL ANLAMA
COED1114312
Güz Dönemi
3+0
3
8
Course Program
Prerequisites Courses
Recommended Elective Courses
Language of Course
İngilizce
Course Level
Doktora
Course Type
Programa Bağlı Seçmeli
Course Coordinator
Prof.Dr. Selim AKYOKUŞ
Name of Lecturer(s)
Prof.Dr. Selim AKYOKUŞ
Assistant(s)
Aim
Bu dersin amacı, doğal dilleri verimli ve güvenilir bir şekilde anlamak için sistemler ve algoritmalar geliştirmek üzere dilbilim, doğal dil işleme ve makine öğrenme yöntemlerinden teorik kavramları, yöntemleri ve algoritmaları öğretmektir. Konular arasında sözcüksel anlambilim, dağıtık anlam gösterimleri, bağlamsal dil gösterimi, büyük dil modelleri, bilgi erişimi ve Doğal Dil Anlama modellerinin ileri değerlendirmeleri, ilişki çıkarımı, anlamsal ayrıştırma, duygu analizi ve diyalog aracıları yer almaktadır. Öğrencilerin, alandaki en iyi uygulamaları takip etmeye odaklanarak doğal dil anlama alanında bir proje geliştirmeleri beklenmektedir.
Course Content
Bu ders; Doğal Dil Anlamaya Giriş (DDA),Metin temsilleri için matris tasarımları, ağırlıklandırma yöntemleri, uzaklıklar ve vektör karşılaştırmaları.,Boyutsallık azaltma ve temsil öğrenimi.,Dağıtılmış kelime gösterimleri,Denetimli duygu analizi,Derin Öğrenme ve Transformatörler,Bağlamsal Temsil Modelleri,Sınav haftasına Hazırlık,Büyük Dil Modelleri,Büyük dil modellerine ince ayar yapma,DDA ve Bilgi Erişim (BE) ,Temellendirilmiş dil anlayışı,Model değerlendirme yöntemleri ve metrikleri,Proje sunumları; konularını içermektedir.
Dersin Öğrenme Kazanımları
Teaching Methods
Assessment Methods
2. Transformatörler, BERT, ELECTRA ve GPT gibi bağlamsal kelime temsil modellerini kullanarak kelimeler arasındaki anlamsal ve sözdizimsel ilişkileri kavrar
16, 2
D, F
3. Sinirsel bilgi erişim sistemleri oluşturmak ve hem klasik hem de sinirsel bilgi erişim tekniklerini kullanarak metinlerden belirli bilgileri belirler
12, 14, 21, 6, 9
A, D, G
4. Öğrenci Tercihlerine göre bir Doğal Dil Anlama (NLU) araştırma projesi tasarlar ve uygular
14, 2
F
1. İnsan dilini etkili bir şekilde anlamak için sağlam dil modelleri, makine öğrenme sistemleri ve algoritmalar geliştirir
2
E
Teaching Methods:
12: Problem Çözme Yöntemi, 14: Bireysel Çalışma Yöntemi, 16: Soru - Cevap Tekniği , 2: Proje Temelli Öğrenme Modeli, 21: Benzetim/Simülasyon Tekniği, 6: Deneyimle Öğrenme Modeli, 9: Anlatım Yöntemi
Assessment Methods:
A: Klasik Yazılı Sınav, D: Sözlü Sınav, E: Ödev, F: Proje Görevi, G: Kısa Sınav
Course Outline
Order
Subjects
Preliminary Work
1
Doğal Dil Anlamaya Giriş (DDA)
2
Metin temsilleri için matris tasarımları, ağırlıklandırma yöntemleri, uzaklıklar ve vektör karşılaştırmaları.
3
Boyutsallık azaltma ve temsil öğrenimi.
4
Dağıtılmış kelime gösterimleri
5
Denetimli duygu analizi
6
Derin Öğrenme ve Transformatörler
7
Bağlamsal Temsil Modelleri
8
Sınav haftasına Hazırlık
9
Büyük Dil Modelleri
10
Büyük dil modellerine ince ayar yapma
11
DDA ve Bilgi Erişim (BE)
12
Temellendirilmiş dil anlayışı
13
Model değerlendirme yöntemleri ve metrikleri
14
Proje sunumları
Resources
- Dan Jurafsky and James H. Martin. Speech and Language Processing
- Jacob Eisenstein. Natural Language Processing
- Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing
- Delip Rao and Brian McMahan. Natural Language Processing with PyTorch
- Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers
- Seçilmiş Makaleler
- NLU alanındaki son teknoloji yazılım kaynakları
Natural Language Processing with Python, Steven Bird, Ewan Klein, and Edward Loper at http://www.nltk.org/book/
Course Contribution to Program Qualifications
Course Contribution to Program Qualifications
No
Program Qualification
Contribution Level
1
2
3
4
5
1
Temel bilimleri, matematik ve mühendislik bilimlerini üst düzeyde anlar ve uygular, alanında en son gelişmeler dahil olmak üzere genişlemesine ve derinlemesine bilgi sahibidir.
X
2
Mühendisliğin ilişkili olduğu disiplinler arası etkileşimi kavrar, yeni ve karmaşık fikirleri analiz, sentez ve değerlendirmede uzmanlık gerektiren bilgileri kullanarak özgün sonuçlara ulaşır.
X
3
Bir alanda en yeni bilgilere ulaşır ve bunları kavrayarak araştırma yapabilmek için gerekli yöntem ve becerilerde üst düzeyde yeterliğe sahiptir.
X
4
Bilime veya teknolojiye yenilik getiren, yeni bir bilimsel yöntem veya teknolojik ürün/süreç geliştiren ya da bilinen bir yöntemi yeni bir alana uygulayan kapsamlı bir çalışma yapar.
5
Akademik çalışmalarının çıktılarını saygın akademik ortamlarda yayınlayarak bilim ve teknoloji literatürüne katkıda bulunur.
X
6
Bilimsel, teknolojik, sosyal ve kültürel gelişmeleri değerlendirerek bilimsel tarafsızlık ve etik sorumluluk bilinciyle topluma aktarır.
7
Özgün bir araştırma sürecini bağımsız olarak algılar, tasarlar, uygular ve sonuçlandırır; bu süreci yönetir.
X
8
Bilimsel bilgi birikimini yazılı ve sözlü olarak etkin bir şekilde ifade eder, en az bir yabancı dilde Avrupa Dil Portföyü C1 Genel Düzeyinde iletişim kurar ve iletişim teknolojilerini ileri düzeyde kullanır
X
9
Uzmanlık alanındaki fikirlerin ve gelişmelerin eleştirel analizini, sentezini ve değerlendirmesini yapar.
X
10
Mühendislik alanındaki bilimsel, teknolojik, sosyal veya kültürel ilerlemeleri tanıtır, yaşadığı toplumun bilgi toplumu olma ve bunu sürdürebilme sürecine katkıda bulunur ve toplumsal, bilimsel, kültürel ve etik değerlerin gelişimini destekler.
