Dataset Card for CC-NEWS-ES

Dataset Summary

CC-NEWS-ES is a Spanish-language dataset of news. The corpus was generated by extracting the Spanish articles from CC-NEWS (news index of Common Crawl) of 2019. For doing that FastText model was used for language prediction.

It contains a total of 7,473,286 texts and 1,812,009,283 words distributed as follows:

domain	texts	words
ar	532703	1.45127e+08
bo	29557	7.28996e+06
br	107	14207
cl	116661	3.34633e+07
co	78662	1.92649e+07
com	3650950	8.44094e+08
cr	16542	3.82075e+06
es	1838790	4.82943e+08
gt	4833	838121
hn	36559	5.49933e+06
mx	724908	1.62198e+08
ni	40643	1.08501e+07
pa	18447	4.34724e+06
pe	230962	3.52123e+07
pr	7756	1.6633e+06
py	30651	2.08077e+07
sv	454	353145
uy	80948	2.72562e+07
ve	33148	6.96578e+06

Supported Tasks and Leaderboards

TODO

Languages

The text is in Spanish. The BCP-47 code for Spanish is es.

Dataset Structure

Data Instances

Each data instance contains the following features: ...

• country: top level domain, usually refers to a country (except in the case of .com).
• text: body of the news
• id: internal id

An example from CC-NEWS-ES looks like the following:

{'country': 'py',
 'text': '“La que asumió es una mujer que está en línea de sucesión. La policía, ni los militares están en el Palacio, lo que ella dijo fue que no se podía seguir reprimiendo al pueblo", manifestó este jueves el senador colorado, Enrique Riera, sobre la asunción presidencial en Bolivia de la senadora opositora, Jeanine Áñez,Riera agregó que Evo Morales el que "escapó y abandonó" a su pueblo al ir como asilado a México. En ese sentido, dijo que irónicamente, el expresidente boliviano no eligió como destino a Venezuela, Nicaragua ni a Cuba.Sostuvo que nos de debe utilizar a las instituciones democráticas y republicanas para llegar al poder, cambiando Constituciones y prorrogando mandatos una y otra vez. “El amigo Morales no respetó absolutamente nada”, subrayó.Por otra parte, el senador colorado mencionó que los fiscales y jueces bolivianos deberían tener el "coraje" de investigar el origen de la riqueza de Morales.Habló también sobre la situación en Venezuela y mencionó que Nicolás Maduro no cae, porque "toda la FFAA está contaminada de narcotráfico".	El hombre cuenta con orden de prisión en su país por los ilícitos de Tráfico de Drogas y Asociación Criminal, según el Consejo Nacional de Justicia del Brasil.La agente fiscal Liliana Denice Duarte, titular de la Unidad Fiscal Nº 1 de Presidente Franco, requirió la expulsión del extranjero y la jueza Carina Frutos Recalde, mediante Auto Interlocutorio (A.I.) N° 2.153, dio curso favorable al pedido del Ministerio Público. Esto considerando la alta expectativa de pena que tiene el supuesto delincuente en su país.La detención ...',
 'id': 7328086}

Note: the text is shortened for simplicity.

Data Fields

• ...
• ...

Data Splits

...

Dataset Creation

Curation Rationale

[N/A]

Source Data

Initial Data Collection and Normalization

TODO

Who are the source language producers?

Common Crawl: https://commoncrawl.org/

Annotations

The dataset does not contain any additional annotations.

Annotation process

[N/A]

Who are the annotators?

[N/A]

Personal and Sensitive Information

[N/A]

Considerations for Using the Data

Social Impact of Dataset

...

Discussion of Biases

[N/A]

Other Known Limitations

[N/A]

Additional Information

Dataset Curators

This dataset is maintained by Leonardo Ignacio Córdoba and was built with the help of María Gaska .

Licensing Information

[N/A]

Citation Information

TODO

Contributions

[N/A]