Wikipedia Turkish Summarization Dataset

Dataset Description

This is a Turkish summarization dataset 🇹🇷 prepared from the 2023 Wikipedia dump. The dataset has been cleaned, tokenized, and summarized using Huggingface Wikipedia dataset cleaner script, custom cleaning scripts, and OpenAI's gpt3.5-turbo API.

Data Source

• Wikipedia's latest Turkish dump (2023 version) 🌐

Features

• text: string (The original text extracted from Wikipedia articles 📖)
• summary: string (The generated summary of the original text 📝)

Data Splits

Download Size

• 216,029,002 bytes

Dataset Size

• 341,537,415 bytes

Data Preparation

Data Collection

Tokenization

The dataset was tokenized using Google's MT5 tokenizer. The following criteria were applied:

• Articles with a token count between 300 and 900 were selected ✔️.
• Articles with less than 300 tokens were ignored ❌.
• For articles with more than 900 tokens, only the first 900 tokens ending with a paragraph were selected 🔍.

Summarization

The generated raw texts were summarized using OpenAI's gpt3.5-turbo API 🤖.

Dataset Usage

This dataset can be used for various natural language processing tasks 👩‍💻, such as text summarization, machine translation, and language modeling in the Turkish language.

Example usage:

from datasets import load_dataset

# Load the dataset
dataset = load_dataset("musabg/wikipedia-tr-summarization")

# Access the data
train_data = dataset["train"]
validation_data = dataset["validation"]

# Iterate through the data
for example in train_data:
  text = example["text"]
  summary = example["summary"]
  # Process the data as needed

Please make sure to cite the dataset as follows 📝:

@misc{musabg2023wikipediatrsummarization,
  author = {Musab Gultekin},
  title = {Wikipedia Turkish Summarization Dataset},
  year = {2023},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/datasets/musabg/wikipedia-tr-summarization}},
}

Wikipedia Türkçe Özetleme Veri Seti

Bu, 2023 Wikipedia dökümünden hazırlanan Türkçe özetleme veri kümesidir. Veri kümesi, Huggingface Wikipedia veri kümesi temizleme betiği, özel temizleme betikleri ve OpenAI'nin gpt3.5-turbo API'si kullanılarak temizlenmiş, tokenleştirilmiş ve özetlenmiştir.

Veri Kaynağı

• Wikipedia'nın en güncel Türkçe dökümü (2023 sürümü)

Özellikler

• text: string (Wikipedia makalelerinden çıkarılan orijinal metin)
• summary: string (Orijinal metnin oluşturulan özeti)

Veri Bölümleri

İndirme Boyutu

• 216.029.002 bayt

Veri Kümesi Boyutu

• 341.537.415 bayt

Veri Hazırlama

Veri Toplama

Tokenleştirme

Veri kümesi, Google'ın MT5 tokenleştiricisi kullanılarak tokenleştirildi. Aşağıdaki kriterler uygulandı:

• 300 ile 900 token arasında olan makaleler seçildi.
• 300'den az tokeni olan makaleler dikkate alınmadı.
• 900'den fazla tokeni olan makalelerde, sadece bir paragraf ile biten ilk 900 token kısmı alındı.

Özetleme

Oluşturulan ham metinler, OpenAI'nin gpt3.5-turbo API'si kullanılarak özetlendi.

Veri Kümesi Kullanımı

Bu veri kümesi, Türkçe dilinde metin özetleme, makine çevirisi ve dil modelleme gibi çeşitli doğal dil işleme görevleri için kullanılabilir.

Örnek kullanım:

from datasets import load_dataset

# Veri kümesini yükle
dataset = load_dataset("musabg/wikipedia-tr-summarization")

# Verilere erişin
train_data = dataset["train"]
validation_data = dataset["validation"]

# Verilerin üzerinden geçin
for example in train_data:
  text = example["text"]
  summary = example["summary"]
  # Veriyi gerektiği gibi işleyin