Bu dersin amacı, doğal dilleri verimli ve güvenilir bir şekilde anlamak için sistemler ve algoritmalar geliştirmek üzere dilbilim, doğal dil işleme ve makine öğrenme yöntemlerinden teorik kavramları, yöntemleri ve algoritmaları öğretmektir. Konular arasında sözcüksel anlambilim, dağıtık anlam gösterimleri, bağlamsal dil gösterimi, büyük dil modelleri, bilgi erişimi ve Doğal Dil Anlama modellerinin ileri değerlendirmeleri, ilişki çıkarımı, anlamsal ayrıştırma, duygu analizi ve diyalog aracıları yer almaktadır. Öğrencilerin, alandaki en iyi uygulamaları takip etmeye odaklanarak doğal dil anlama alanında bir proje geliştirmeleri beklenmektedir.
Dersin İçeriği
Bu ders; Doğal Dil Anlamaya Giriş (DDA),Metin temsilleri için matris tasarımları, ağırlıklandırma yöntemleri, uzaklıklar ve vektör karşılaştırmaları.,Boyutsallık azaltma ve temsil öğrenimi.,Dağıtılmış kelime gösterimleri,Denetimli duygu analizi,Derin Öğrenme ve Transformatörler,Bağlamsal Temsil Modelleri,Sınav haftasına Hazırlık,Büyük Dil Modelleri,Büyük dil modellerine ince ayar yapma,DDA ve Bilgi Erişim (BE) ,Temellendirilmiş dil anlayışı,Model değerlendirme yöntemleri ve metrikleri,Proje sunumları; konularını içermektedir.
Dersin Öğrenme Kazanımları
Öğretim Yöntemleri
Ölçme Yöntemleri
2. Transformatörler, BERT, ELECTRA ve GPT gibi bağlamsal kelime temsil modellerini kullanarak kelimeler arasındaki anlamsal ve sözdizimsel ilişkileri kavrar
16, 2
D, F
3. Sinirsel bilgi erişim sistemleri oluşturmak ve hem klasik hem de sinirsel bilgi erişim tekniklerini kullanarak metinlerden belirli bilgileri belirler
12, 14, 21, 6, 9
A, D, G
4. Öğrenci Tercihlerine göre bir Doğal Dil Anlama (NLU) araştırma projesi tasarlar ve uygular
14, 2
F
1. İnsan dilini etkili bir şekilde anlamak için sağlam dil modelleri, makine öğrenme sistemleri ve algoritmalar geliştirir
2
E
Öğretim Yöntemleri:
12: Problem Çözme Yöntemi, 14: Bireysel Çalışma Yöntemi, 16: Soru - Cevap Tekniği , 2: Proje Temelli Öğrenme Modeli, 21: Benzetim/Simülasyon Tekniği, 6: Deneyimle Öğrenme Modeli, 9: Anlatım Yöntemi
Ölçme Yöntemleri:
A: Klasik Yazılı Sınav, D: Sözlü Sınav, E: Ödev, F: Proje Görevi, G: Kısa Sınav
Ders Akışı
Sıra
Konular
Ön Hazırlık
1
Doğal Dil Anlamaya Giriş (DDA)
2
Metin temsilleri için matris tasarımları, ağırlıklandırma yöntemleri, uzaklıklar ve vektör karşılaştırmaları.
3
Boyutsallık azaltma ve temsil öğrenimi.
4
Dağıtılmış kelime gösterimleri
5
Denetimli duygu analizi
6
Derin Öğrenme ve Transformatörler
7
Bağlamsal Temsil Modelleri
8
Sınav haftasına Hazırlık
9
Büyük Dil Modelleri
10
Büyük dil modellerine ince ayar yapma
11
DDA ve Bilgi Erişim (BE)
12
Temellendirilmiş dil anlayışı
13
Model değerlendirme yöntemleri ve metrikleri
14
Proje sunumları
Kaynak
- Dan Jurafsky and James H. Martin. Speech and Language Processing
- Jacob Eisenstein. Natural Language Processing
- Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing
- Delip Rao and Brian McMahan. Natural Language Processing with PyTorch
- Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers
- Seçilmiş Makaleler
- NLU alanındaki son teknoloji yazılım kaynakları
Natural Language Processing with Python, Steven Bird, Ewan Klein, and Edward Loper at http://www.nltk.org/book/
Dersin Program Yeterliliklerine Katkısı
Dersin Program Yeterliliklerine Katkısı
No
Program Yeterliliği
Katkı Düzeyi
1
2
3
4
5
1
Temel bilimleri, matematik ve mühendislik bilimlerini üst düzeyde anlar ve uygular, alanında en son gelişmeler dahil olmak üzere genişlemesine ve derinlemesine bilgi sahibidir.
X
2
Mühendisliğin ilişkili olduğu disiplinler arası etkileşimi kavrar, yeni ve karmaşık fikirleri analiz, sentez ve değerlendirmede uzmanlık gerektiren bilgileri kullanarak özgün sonuçlara ulaşır.
X
3
Bir alanda en yeni bilgilere ulaşır ve bunları kavrayarak araştırma yapabilmek için gerekli yöntem ve becerilerde üst düzeyde yeterliğe sahiptir.
X
4
Bilime veya teknolojiye yenilik getiren, yeni bir bilimsel yöntem veya teknolojik ürün/süreç geliştiren ya da bilinen bir yöntemi yeni bir alana uygulayan kapsamlı bir çalışma yapar.
5
Akademik çalışmalarının çıktılarını saygın akademik ortamlarda yayınlayarak bilim ve teknoloji literatürüne katkıda bulunur.
X
6
Bilimsel, teknolojik, sosyal ve kültürel gelişmeleri değerlendirerek bilimsel tarafsızlık ve etik sorumluluk bilinciyle topluma aktarır.
7
Özgün bir araştırma sürecini bağımsız olarak algılar, tasarlar, uygular ve sonuçlandırır; bu süreci yönetir.
X
8
Bilimsel bilgi birikimini yazılı ve sözlü olarak etkin bir şekilde ifade eder, en az bir yabancı dilde Avrupa Dil Portföyü C1 Genel Düzeyinde iletişim kurar ve iletişim teknolojilerini ileri düzeyde kullanır
X
9
Uzmanlık alanındaki fikirlerin ve gelişmelerin eleştirel analizini, sentezini ve değerlendirmesini yapar.
X
10
Mühendislik alanındaki bilimsel, teknolojik, sosyal veya kültürel ilerlemeleri tanıtır, yaşadığı toplumun bilgi toplumu olma ve bunu sürdürebilme sürecine katkıda bulunur ve toplumsal, bilimsel, kültürel ve etik değerlerin gelişimini destekler.
X
Değerlendirme Sistemi
Katkı Düzeyi
Mutlak Değerlendirme
Ara Sınavın Başarıya Oranı
50
Genel Sınavın Başarıya Oranı
50
Toplam
100
AKTS / İşyükü Tablosu
Etkinlik
Sayı
Süresi (Saat)
Toplam İş Yükü (Saat)
Ders Saati
14
3
42
Rehberli Problem Çözme
0
0
0
Problem Çözümü / Ödev / Proje / Rapor Tanzimi
10
2
20
Okul Dışı Diğer Faaliyetler
0
0
0
Proje Sunumu / Seminer
8
10
80
Kısa Sınav (QUİZ) ve Hazırlığı
6
3
18
Ara Sınav ve Hazırlığı
1
30
30
Genel Sınav ve Hazırlığı
1
50
50
Performans Görevi, Bakım Planı
0
0
0
Toplam İş Yükü (Saat)
240
Dersin AKTS Kredisi = Toplam İş Yükü (Saat)/30*=(240/30)
8
Dersin AKTS Kredisi: *30 saatlik çalışma 1 AKTS kredisi sayılmaktadır.
Dersin Detaylı Bilgileri
Ders Tanımı
Ders
Kodu
Yarıyıl
T+U Saat
Kredi
AKTS
DOĞAL DİL ANLAMA
COED1114312
Güz Dönemi
3+0
3
8
Ders Programı
Ön Koşul Dersleri
Önerilen Seçmeli Dersler
Dersin Dili
İngilizce
Dersin Seviyesi
Doktora
Dersin Türü
Programa Bağlı Seçmeli
Dersin Koordinatörü
Prof.Dr. Selim AKYOKUŞ
Dersi Verenler
Prof.Dr. Selim AKYOKUŞ
Dersin Yardımcıları
Dersin Amacı
Bu dersin amacı, doğal dilleri verimli ve güvenilir bir şekilde anlamak için sistemler ve algoritmalar geliştirmek üzere dilbilim, doğal dil işleme ve makine öğrenme yöntemlerinden teorik kavramları, yöntemleri ve algoritmaları öğretmektir. Konular arasında sözcüksel anlambilim, dağıtık anlam gösterimleri, bağlamsal dil gösterimi, büyük dil modelleri, bilgi erişimi ve Doğal Dil Anlama modellerinin ileri değerlendirmeleri, ilişki çıkarımı, anlamsal ayrıştırma, duygu analizi ve diyalog aracıları yer almaktadır. Öğrencilerin, alandaki en iyi uygulamaları takip etmeye odaklanarak doğal dil anlama alanında bir proje geliştirmeleri beklenmektedir.
Dersin İçeriği
Bu ders; Doğal Dil Anlamaya Giriş (DDA),Metin temsilleri için matris tasarımları, ağırlıklandırma yöntemleri, uzaklıklar ve vektör karşılaştırmaları.,Boyutsallık azaltma ve temsil öğrenimi.,Dağıtılmış kelime gösterimleri,Denetimli duygu analizi,Derin Öğrenme ve Transformatörler,Bağlamsal Temsil Modelleri,Sınav haftasına Hazırlık,Büyük Dil Modelleri,Büyük dil modellerine ince ayar yapma,DDA ve Bilgi Erişim (BE) ,Temellendirilmiş dil anlayışı,Model değerlendirme yöntemleri ve metrikleri,Proje sunumları; konularını içermektedir.
Dersin Öğrenme Kazanımları
Öğretim Yöntemleri
Ölçme Yöntemleri
2. Transformatörler, BERT, ELECTRA ve GPT gibi bağlamsal kelime temsil modellerini kullanarak kelimeler arasındaki anlamsal ve sözdizimsel ilişkileri kavrar
16, 2
D, F
3. Sinirsel bilgi erişim sistemleri oluşturmak ve hem klasik hem de sinirsel bilgi erişim tekniklerini kullanarak metinlerden belirli bilgileri belirler
12, 14, 21, 6, 9
A, D, G
4. Öğrenci Tercihlerine göre bir Doğal Dil Anlama (NLU) araştırma projesi tasarlar ve uygular
14, 2
F
1. İnsan dilini etkili bir şekilde anlamak için sağlam dil modelleri, makine öğrenme sistemleri ve algoritmalar geliştirir
2
E
Öğretim Yöntemleri:
12: Problem Çözme Yöntemi, 14: Bireysel Çalışma Yöntemi, 16: Soru - Cevap Tekniği , 2: Proje Temelli Öğrenme Modeli, 21: Benzetim/Simülasyon Tekniği, 6: Deneyimle Öğrenme Modeli, 9: Anlatım Yöntemi
Ölçme Yöntemleri:
A: Klasik Yazılı Sınav, D: Sözlü Sınav, E: Ödev, F: Proje Görevi, G: Kısa Sınav
Ders Akışı
Sıra
Konular
Ön Hazırlık
1
Doğal Dil Anlamaya Giriş (DDA)
2
Metin temsilleri için matris tasarımları, ağırlıklandırma yöntemleri, uzaklıklar ve vektör karşılaştırmaları.
3
Boyutsallık azaltma ve temsil öğrenimi.
4
Dağıtılmış kelime gösterimleri
5
Denetimli duygu analizi
6
Derin Öğrenme ve Transformatörler
7
Bağlamsal Temsil Modelleri
8
Sınav haftasına Hazırlık
9
Büyük Dil Modelleri
10
Büyük dil modellerine ince ayar yapma
11
DDA ve Bilgi Erişim (BE)
12
Temellendirilmiş dil anlayışı
13
Model değerlendirme yöntemleri ve metrikleri
14
Proje sunumları
Kaynak
- Dan Jurafsky and James H. Martin. Speech and Language Processing
- Jacob Eisenstein. Natural Language Processing
- Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing
- Delip Rao and Brian McMahan. Natural Language Processing with PyTorch
- Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers
- Seçilmiş Makaleler
- NLU alanındaki son teknoloji yazılım kaynakları
Natural Language Processing with Python, Steven Bird, Ewan Klein, and Edward Loper at http://www.nltk.org/book/
Dersin Program Yeterliliklerine Katkısı
Dersin Program Yeterliliklerine Katkısı
No
Program Yeterliliği
Katkı Düzeyi
1
2
3
4
5
1
Temel bilimleri, matematik ve mühendislik bilimlerini üst düzeyde anlar ve uygular, alanında en son gelişmeler dahil olmak üzere genişlemesine ve derinlemesine bilgi sahibidir.
X
2
Mühendisliğin ilişkili olduğu disiplinler arası etkileşimi kavrar, yeni ve karmaşık fikirleri analiz, sentez ve değerlendirmede uzmanlık gerektiren bilgileri kullanarak özgün sonuçlara ulaşır.
X
3
Bir alanda en yeni bilgilere ulaşır ve bunları kavrayarak araştırma yapabilmek için gerekli yöntem ve becerilerde üst düzeyde yeterliğe sahiptir.
X
4
Bilime veya teknolojiye yenilik getiren, yeni bir bilimsel yöntem veya teknolojik ürün/süreç geliştiren ya da bilinen bir yöntemi yeni bir alana uygulayan kapsamlı bir çalışma yapar.
5
Akademik çalışmalarının çıktılarını saygın akademik ortamlarda yayınlayarak bilim ve teknoloji literatürüne katkıda bulunur.
X
6
Bilimsel, teknolojik, sosyal ve kültürel gelişmeleri değerlendirerek bilimsel tarafsızlık ve etik sorumluluk bilinciyle topluma aktarır.
7
Özgün bir araştırma sürecini bağımsız olarak algılar, tasarlar, uygular ve sonuçlandırır; bu süreci yönetir.
X
8
Bilimsel bilgi birikimini yazılı ve sözlü olarak etkin bir şekilde ifade eder, en az bir yabancı dilde Avrupa Dil Portföyü C1 Genel Düzeyinde iletişim kurar ve iletişim teknolojilerini ileri düzeyde kullanır
X
9
Uzmanlık alanındaki fikirlerin ve gelişmelerin eleştirel analizini, sentezini ve değerlendirmesini yapar.
X
10
Mühendislik alanındaki bilimsel, teknolojik, sosyal veya kültürel ilerlemeleri tanıtır, yaşadığı toplumun bilgi toplumu olma ve bunu sürdürebilme sürecine katkıda bulunur ve toplumsal, bilimsel, kültürel ve etik değerlerin gelişimini destekler.
