Website_Categorization_Google_Colab.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "Website Categorization - Google Colab.ipynb",
      "provenance": [],
      "collapsed_sections": []
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "5cntpxgPqCPC"
      },
      "source": [
        "# **LOGIC EXPLANATION**\n",
        "To categorize the websites we will follow this logic:\n",
        "\n",
        "\n",
        "1.   Firstly, we will scrape the content which is on the main pages by using Cloudscraper and we will parse the content with BeautifulSoup. \n",
        "2.   Secondly, we will translate this content to English as the Google NLP API does not support other languages by using Googletrans module.\n",
        "3.   Thirdly, by using Google NLP API we will categorize these websites and get their categories and a confidence score.\n",
        "\n",
        "**Note**: if the websites were in English, we could skip the translation step and directly input the English content into NLP API module.\n",
        "\n",
        "\n",
        "# **REQUIREMENTS**\n",
        "In order to be able to use this notebook we will first need to install the modules cloudscraper and googletrans.\n",
        "\n",
        "1.   **[Cloudscraper](https://pypi.org/project/cloudscraper/)**: this library is similar to Requests. It will enable us to send HTTP requests and scrape the content within the URLs. This module works better than requests to scrape websites which use a CloudFlare technology.\n",
        "2.   **[Googletrans](https://pypi.org/project/googletrans/)**: free and unlimited Python library which uses Google Translate AJAX API. Note that this is not the official API, so if you seek a more stable solution, it is better to use the [official solution](https://cloud.google.com/translate/docs) (but it is not for free).\n",
        "\n",
        "You also need to register into Google Cloud, create a project, enable the Natural Language service and create your JSON credentials file to be able to make use of this notebook. Some info over here: [https://cloud.google.com/natural-language/docs/setup](https://cloud.google.com/natural-language/docs/setup)\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "RbcEi5bHB-hz",
        "outputId": "9f6ec52e-2542-4355-c3d7-73496ff0ffd9"
      },
      "source": [
        "#First, we install cloudscraper and googletrans modules that we are going to use for scraping and translating the content.\n",
        "\n",
        "!pip install cloudscraper\n",
        "!pip install googletrans"
      ],
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Collecting cloudscraper\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/83/e4/f1d3872ce822f52f4133cc04960185f64676ca5ec87f05a5350fc0c0a92f/cloudscraper-1.2.48-py2.py3-none-any.whl (94kB)\n",
            "\u001b[K     |████████████████████████████████| 102kB 4.1MB/s \n",
            "\u001b[?25hRequirement already satisfied: requests>=2.9.2 in /usr/local/lib/python3.6/dist-packages (from cloudscraper) (2.23.0)\n",
            "Collecting requests-toolbelt>=0.9.1\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/60/ef/7681134338fc097acef8d9b2f8abe0458e4d87559c689a8c306d0957ece5/requests_toolbelt-0.9.1-py2.py3-none-any.whl (54kB)\n",
            "\u001b[K     |████████████████████████████████| 61kB 7.1MB/s \n",
            "\u001b[?25hRequirement already satisfied: pyparsing>=2.4.7 in /usr/local/lib/python3.6/dist-packages (from cloudscraper) (2.4.7)\n",
            "Requirement already satisfied: chardet<4,>=3.0.2 in /usr/local/lib/python3.6/dist-packages (from requests>=2.9.2->cloudscraper) (3.0.4)\n",
            "Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1 in /usr/local/lib/python3.6/dist-packages (from requests>=2.9.2->cloudscraper) (1.24.3)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.6/dist-packages (from requests>=2.9.2->cloudscraper) (2020.6.20)\n",
            "Requirement already satisfied: idna<3,>=2.5 in /usr/local/lib/python3.6/dist-packages (from requests>=2.9.2->cloudscraper) (2.10)\n",
            "Installing collected packages: requests-toolbelt, cloudscraper\n",
            "Successfully installed cloudscraper-1.2.48 requests-toolbelt-0.9.1\n",
            "Collecting googletrans\n",
            "  Downloading https://files.pythonhosted.org/packages/71/3a/3b19effdd4c03958b90f40fe01c93de6d5280e03843cc5adf6956bfc9512/googletrans-3.0.0.tar.gz\n",
            "Collecting httpx==0.13.3\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/54/b4/698b284c6aed4d7c2b4fe3ba5df1fcf6093612423797e76fbb24890dd22f/httpx-0.13.3-py3-none-any.whl (55kB)\n",
            "\u001b[K     |████████████████████████████████| 61kB 3.4MB/s \n",
            "\u001b[?25hCollecting hstspreload\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/d3/3c/cdeaf9ab0404853e77c45d9e8021d0d2c01f70a1bb26e460090926fe2a5e/hstspreload-2020.11.21-py3-none-any.whl (981kB)\n",
            "\u001b[K     |████████████████████████████████| 983kB 6.5MB/s \n",
            "\u001b[?25hCollecting sniffio\n",
            "  Downloading https://files.pythonhosted.org/packages/52/b0/7b2e028b63d092804b6794595871f936aafa5e9322dcaaad50ebf67445b3/sniffio-1.2.0-py3-none-any.whl\n",
            "Requirement already satisfied: idna==2.* in /usr/local/lib/python3.6/dist-packages (from httpx==0.13.3->googletrans) (2.10)\n",
            "Collecting rfc3986<2,>=1.3\n",
            "  Downloading https://files.pythonhosted.org/packages/78/be/7b8b99fd74ff5684225f50dd0e865393d2265656ef3b4ba9eaaaffe622b8/rfc3986-1.4.0-py2.py3-none-any.whl\n",
            "Requirement already satisfied: certifi in /usr/local/lib/python3.6/dist-packages (from httpx==0.13.3->googletrans) (2020.6.20)\n",
            "Requirement already satisfied: chardet==3.* in /usr/local/lib/python3.6/dist-packages (from httpx==0.13.3->googletrans) (3.0.4)\n",
            "Collecting httpcore==0.9.*\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/dd/d5/e4ff9318693ac6101a2095e580908b591838c6f33df8d3ee8dd953ba96a8/httpcore-0.9.1-py3-none-any.whl (42kB)\n",
            "\u001b[K     |████████████████████████████████| 51kB 6.4MB/s \n",
            "\u001b[?25hCollecting contextvars>=2.1; python_version < \"3.7\"\n",
            "  Downloading https://files.pythonhosted.org/packages/83/96/55b82d9f13763be9d672622e1b8106c85acb83edd7cc2fa5bc67cd9877e9/contextvars-2.4.tar.gz\n",
            "Collecting h11<0.10,>=0.8\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/5a/fd/3dad730b0f95e78aeeb742f96fa7bbecbdd56a58e405d3da440d5bfb90c6/h11-0.9.0-py2.py3-none-any.whl (53kB)\n",
            "\u001b[K     |████████████████████████████████| 61kB 4.9MB/s \n",
            "\u001b[?25hCollecting h2==3.*\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/25/de/da019bcc539eeab02f6d45836f23858ac467f584bfec7a526ef200242afe/h2-3.2.0-py2.py3-none-any.whl (65kB)\n",
            "\u001b[K     |████████████████████████████████| 71kB 5.1MB/s \n",
            "\u001b[?25hCollecting immutables>=0.9\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/99/e0/ea6fd4697120327d26773b5a84853f897a68e33d3f9376b00a8ff96e4f63/immutables-0.14-cp36-cp36m-manylinux1_x86_64.whl (98kB)\n",
            "\u001b[K     |████████████████████████████████| 102kB 6.5MB/s \n",
            "\u001b[?25hCollecting hpack<4,>=3.0\n",
            "  Downloading https://files.pythonhosted.org/packages/8a/cc/e53517f4a1e13f74776ca93271caef378dadec14d71c61c949d759d3db69/hpack-3.0.0-py2.py3-none-any.whl\n",
            "Collecting hyperframe<6,>=5.2.0\n",
            "  Downloading https://files.pythonhosted.org/packages/19/0c/bf88182bcb5dce3094e2f3e4fe20db28a9928cb7bd5b08024030e4b140db/hyperframe-5.2.0-py2.py3-none-any.whl\n",
            "Building wheels for collected packages: googletrans, contextvars\n",
            "  Building wheel for googletrans (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "  Created wheel for googletrans: filename=googletrans-3.0.0-cp36-none-any.whl size=15736 sha256=176341b8ab79fe125d016d102f3a708968179d7b0a4c5301b66c1d555eeb8f3e\n",
            "  Stored in directory: /root/.cache/pip/wheels/28/1a/a7/eaf4d7a3417a0c65796c547cff4deb6d79c7d14c2abd29273e\n",
            "  Building wheel for contextvars (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "  Created wheel for contextvars: filename=contextvars-2.4-cp36-none-any.whl size=7666 sha256=f2bbb9877a42418634ec2fe599b2dc4c6d9ec1cc85f8ac83b72ee0cf1a6c631d\n",
            "  Stored in directory: /root/.cache/pip/wheels/a5/7d/68/1ebae2668bda2228686e3c1cf16f2c2384cea6e9334ad5f6de\n",
            "Successfully built googletrans contextvars\n",
            "Installing collected packages: hstspreload, immutables, contextvars, sniffio, rfc3986, h11, hpack, hyperframe, h2, httpcore, httpx, googletrans\n",
            "Successfully installed contextvars-2.4 googletrans-3.0.0 h11-0.9.0 h2-3.2.0 hpack-3.0.0 hstspreload-2020.11.21 httpcore-0.9.1 httpx-0.13.3 hyperframe-5.2.0 immutables-0.14 rfc3986-1.4.0 sniffio-1.2.0\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "8A8b6q8jnjoB"
      },
      "source": [
        "# **INDIVIDUAL URL Mode**\n",
        "On this section we are going to input an URL through a form as a string and we are going to categorize only this URL. This will enable us only to categorize URLs one by one, which isn't very helpful as we could even do it manually by checking the websites by ourselves."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "goB1PcXqEdUJ",
        "outputId": "d7a13cec-5e4e-4096-f72e-dc716534bad1"
      },
      "source": [
        "#@title URL { output-height: 30 }\n",
        "url = \"https://www.elpais.com\" #@param {type:\"string\"}\n",
        "english_content = \"No\" #@param [\"Yes\", \"No\"]\n",
        "print(url)\n",
        "print(\"Is the content in English? \" + english_content)\n",
        "\n"
      ],
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "https://www.elpais.com\n",
            "Is the content in English? No\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "wk3n-xNmA4Oa",
        "outputId": "4492fed0-fdaa-4070-d93d-0a84a38d2a9a"
      },
      "source": [
        "#With cloudscraper we scrape the URL and with Beutiful Soup we parse the URLs.\n",
        "#We put everything together in order based on importance.\n",
        "\n",
        "\n",
        "import cloudscraper\n",
        "from bs4 import BeautifulSoup\n",
        "\n",
        "\n",
        "scraper = cloudscraper.create_scraper() \n",
        "headers = {'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'}\n",
        "\n",
        "try:\n",
        "    r = scraper.get(url, headers = headers)\n",
        "\n",
        "    soup = BeautifulSoup(r.text, 'html.parser')\n",
        "    title = soup.find('title').text\n",
        "    description = soup.find('meta', attrs={'name': 'description'})\n",
        "\n",
        "    if \"content\" in str(description):\n",
        "        description = description.get(\"content\")\n",
        "    else:\n",
        "        description = \"\"\n",
        "\n",
        "\n",
        "    h1 = soup.find_all('h1')\n",
        "    h1_all = \"\"\n",
        "    for x in range (len(h1)):\n",
        "        if x ==  len(h1) -1:\n",
        "            h1_all = h1_all + h1[x].text\n",
        "        else:\n",
        "            h1_all = h1_all + h1[x].text + \". \"\n",
        "\n",
        "\n",
        "    paragraphs_all = \"\"\n",
        "    paragraphs = soup.find_all('p')\n",
        "    for x in range (len(paragraphs)):\n",
        "        if x ==  len(paragraphs) -1:\n",
        "            paragraphs_all = paragraphs_all + paragraphs[x].text\n",
        "        else:\n",
        "            paragraphs_all = paragraphs_all + paragraphs[x].text + \". \"\n",
        "\n",
        "\n",
        "\n",
        "    h2 = soup.find_all('h2')\n",
        "    h2_all = \"\"\n",
        "    for x in range (len(h2)):\n",
        "        if x ==  len(h2) -1:\n",
        "            h2_all = h2_all + h2[x].text\n",
        "        else:\n",
        "            h2_all = h2_all + h2[x].text + \". \"\n",
        "\n",
        "\n",
        "\n",
        "    h3 = soup.find_all('h3')\n",
        "    h3_all = \"\"\n",
        "    for x in range (len(h3)):\n",
        "        if x ==  len(h3) -1:\n",
        "            h3_all = h3_all + h3[x].text\n",
        "        else:\n",
        "            h3_all = h3_all + h3[x].text + \". \"\n",
        "\n",
        "    allthecontent = str(title) + \" \" + str(description) + \" \" + str(h1_all) + \" \" + str(h2_all) + \" \" + str(h3_all) + \" \" + str(paragraphs_all)\n",
        "    allthecontent = str(allthecontent)[0:999]\n",
        "\n",
        "except Exception as e:\n",
        "        print(e)\n",
        "\n",
        "print(allthecontent)\n",
        "#"
      ],
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "EL PAÍS: el periódico global Noticias de última hora sobre la actualidad en España y el mundo: política, economía, deportes, cultura, sociedad, tecnología, gente, opinión, viajes, moda, televisión, los blogs y las firmas de EL PAÍS. Además especiales, vídeos, fotos, audios, gráficos, entrevistas, promociones y todos los servicios de EL PAÍS. Actualiza tu navegador España e Irlanda, los dos extremos en la UE de la crisis del coronavirus . Alemania inmunizará a su población vulnerable en 60 centros repartidos por el país . Viaje a Mbour, la costa senegalesa de los naufragios olvidados: “Este lugar está muerto”\n",
            ". El Gobierno despliega campamentos para la crisis migratoria en Canarias . Iker Casillas, el guardameta que fue santo . Las cartas de Sylvia Plath que relatan su niñez y adolescencia. La sombra aplastante del general De Gaulle . El futuro según Jenny Kleeman: robots sexuales, filetes clonados y úteros externos . Trump recurre a sus poderes presidenciales para tratar de subvertir \n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "qhwUJ6k2Bbj6",
        "outputId": "15293c09-74cc-42a8-aab3-311a945e5216"
      },
      "source": [
        "#We use the Googletrans module to translate the content to English.\n",
        "#Once the content is translated, we limit the number of characters up to 1.000 so that we do not overspend Google NLP API tokens.\n",
        "#If the content is already in English, we do not translate it.\n",
        "\n",
        "from googletrans import Translator\n",
        "translator = Translator()\n",
        "\n",
        "if english_content == \"No\":\n",
        "\n",
        "  try:\n",
        "          translation = translator.translate(allthecontent).text\n",
        "          translation = str(translation)[0:999]\n",
        "          \n",
        "  except Exception as e:\n",
        "          print(e)\n",
        "\n",
        "else:\n",
        "\n",
        "  translation = allthecontent\n",
        "\n",
        "print(translation)\n"
      ],
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "EL PAÍS: the global newspaper Breaking news about current affairs in Spain and the world: politics, economy, sports, culture, society, technology, people, opinion, travel, fashion, television, EL PAÍS blogs and firms. Also specials, videos, photos, audios, graphics, interviews, promotions and all EL PAÍS services. Update your browser Spain and Ireland, the two extremes in the EU of the coronavirus crisis. Germany will immunize its vulnerable population in 60 centers throughout the country. Travel to Mbour, the Senegalese coast of forgotten shipwrecks: \"This place is dead\"\n",
            ". The Government deploys camps for the migratory crisis in the Canary Islands. Iker Casillas, the goalkeeper who was a saint. Sylvia Plath's letters recounting her childhood and adolescence. The crushing shadow of General de Gaulle. The future according to Jenny Kleeman: sex robots, cloned steaks and external wombs. Trump uses his presidential powers to try to subvert\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "JV_wy1zWlF5v"
      },
      "source": [
        "#@title Path to your Google NLP API credentials\n",
        "path_credentials = \"/content/gdrive/MyDrive/Colab Notebooks/Website Categorization/NLPAPI.json\" #@param {type:\"string\"}\n"
      ],
      "execution_count": 10,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "c-_BgGJzBPmA",
        "outputId": "64838589-55a1-410a-92ca-e5820d773964"
      },
      "source": [
        "#We use the Google NLP API module to categorize the websites.\n",
        "#First, we need to provide the Google Application Credentials.\n",
        "#We make the request to NLP API.\n",
        "#We print the assigned category and the confidence score.\n",
        "\n",
        "import os\n",
        "from google.cloud import language_v1\n",
        "from google.cloud.language_v1 import enums\n",
        "from google.cloud import language\n",
        "from google.cloud.language import types\n",
        "from google.colab import drive\n",
        "\n",
        "drive.mount('/content/gdrive')\n",
        "os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = path_credentials\n",
        " \n",
        "try:\n",
        "        text_content = str(translation)\n",
        "        client = language_v1.LanguageServiceClient()\n",
        "        type_ = enums.Document.Type.PLAIN_TEXT\n",
        "        document = {\"content\": text_content, \"type\": type_, \"language\": \"en\"}\n",
        "        encoding_type = enums.EncodingType.UTF8\n",
        "        response = client.classify_text(document)\n",
        "\n",
        "        print(url + \" categorized under \" + response.categories[0].name + \" with \" + str(int(round(response.categories[0].confidence,3)*100)) +\"% of confidence\")\n",
        " \n",
        " \n",
        "except Exception as e:\n",
        "    print(e)"
      ],
      "execution_count": 26,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Drive already mounted at /content/gdrive; to attempt to forcibly remount, call drive.mount(\"/content/gdrive\", force_remount=True).\n",
            "https://www.elpais.com categorized under /News with 97% of confidence\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "EtS7da_0Hunh"
      },
      "source": [
        "# **BULK MODE**\n",
        "This is where fun gets started. We can input a bunch of websites at the same time by using a list provided through a CSV file.\n",
        "However, as we are using a not-official Google Translate API, it is recommendable to not input chunks of over 50 URLs to not get banned.\n",
        "Once the categorization is done, we can save it as an Excel file with Pandas."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "fH6QQdz9lnaT",
        "outputId": "a5621359-8f36-4db6-9e46-e9ee77a0e740"
      },
      "source": [
        "#@title Path to your CSV file\n",
        "path_csv = \"/content/gdrive/MyDrive/Colab Notebooks/Website Categorization/Sample Websites.csv\" #@param {type:\"string\"}\n",
        "english_content = \"No\" #@param [\"Yes\", \"No\"]\n",
        "print(\"Is the content in English? \" + english_content)\n"
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Is the content in English? No\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "RgjFT6KTItBP",
        "outputId": "9cb1a6a8-90bf-4577-9d3d-cf8740e08104"
      },
      "source": [
        "#To start with, we need to import and read the websites from the CSV file. We will use the CSV module.\n",
        "#Reader function iterates over the lines.\n",
        "#We transform this the reader object into a list.\n",
        "\n",
        "import csv\n",
        "\n",
        "with open(path_csv, newline='') as f:\n",
        "    reader = csv.reader(f)\n",
        "    data = list(reader)\n",
        "\n",
        "print(data)"
      ],
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "[['https://www.larazon.es/'], ['https://www.bezzia.com'], ['https://www.ahorradoras.com/'], ['https://pix-geeks.com'], ['https://www.ciclismoafondo.es/'], ['https://www.revistaoxigeno.es/'], ['https://www.triatlonweb.es/'], ['https://www.trailrun.es/'], ['https://www.actualidadmotor.com'], ['https://estudio-27.com'], ['https://www.etapainfantil.com'], ['https://www.mexicodesconocido.com.mx'], ['https://ingenieriareal.com'], ['https://www.nacion321.com/'], ['https://www.pasala.com.mx/'], ['https://www.elfinanciero.com.mx/']]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "3MDQ5-ljKKw5",
        "outputId": "0146ab23-829c-4aba-c90d-72f84a88118c"
      },
      "source": [
        "#With cloudscraper we scrape the URL and with Beutiful Soup we parse the URLs.\n",
        "#We put everything together in order based on importance.\n",
        "#Main difference compared to the individual URL section is that we append each translation in the data list.\n",
        "\n",
        "\n",
        "import cloudscraper\n",
        "from bs4 import BeautifulSoup\n",
        " \n",
        "scraper = cloudscraper.create_scraper() \n",
        "headers = {'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'}\n",
        "  \n",
        "for iteration in range (len(data)):\n",
        "\n",
        "  try:\n",
        "      print(\"Scraping text from: \" + data[iteration][0])\n",
        "      r = scraper.get(data[iteration][0], headers = headers)\n",
        "\n",
        "      soup = BeautifulSoup(r.text, 'html.parser')\n",
        "      title = soup.find('title').text\n",
        "      description = soup.find('meta', attrs={'name': 'description'})\n",
        "  \n",
        "      if \"content\" in str(description):\n",
        "          description = description.get(\"content\")\n",
        "      else:\n",
        "          description = \"\"\n",
        "  \n",
        "  \n",
        "      h1 = soup.find_all('h1')\n",
        "      h1_all = \"\"\n",
        "      for x in range (len(h1)):\n",
        "          if x ==  len(h1) -1:\n",
        "              h1_all = h1_all + h1[x].text\n",
        "          else:\n",
        "              h1_all = h1_all + h1[x].text + \". \"\n",
        "  \n",
        "  \n",
        "      paragraphs_all = \"\"\n",
        "      paragraphs = soup.find_all('p')\n",
        "      for x in range (len(paragraphs)):\n",
        "          if x ==  len(paragraphs) -1:\n",
        "              paragraphs_all = paragraphs_all + paragraphs[x].text\n",
        "          else:\n",
        "              paragraphs_all = paragraphs_all + paragraphs[x].text + \". \"\n",
        "  \n",
        "  \n",
        "  \n",
        "      h2 = soup.find_all('h2')\n",
        "      h2_all = \"\"\n",
        "      for x in range (len(h2)):\n",
        "          if x ==  len(h2) -1:\n",
        "              h2_all = h2_all + h2[x].text\n",
        "          else:\n",
        "              h2_all = h2_all + h2[x].text + \". \"\n",
        "  \n",
        "  \n",
        "  \n",
        "      h3 = soup.find_all('h3')\n",
        "      h3_all = \"\"\n",
        "      for x in range (len(h3)):\n",
        "          if x ==  len(h3) -1:\n",
        "              h3_all = h3_all + h3[x].text\n",
        "          else:\n",
        "              h3_all = h3_all + h3[x].text + \". \"\n",
        "  \n",
        "\n",
        "      allthecontent = str(title) + \" \" + str(description) + \" \" + str(h1_all) + \" \" + str(h2_all) + \" \" + str(h3_all) + \" \" + str(paragraphs_all)\n",
        "      allthecontent = str(allthecontent)[0:999]\n",
        "      data[iteration].append(allthecontent)\n",
        "  \n",
        "  except Exception as e:\n",
        "          print(e)\n",
        "\n",
        "print(data)"
      ],
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Scraping text from: https://www.larazon.es/\n",
            "Scraping text from: https://www.bezzia.com\n",
            "Scraping text from: https://www.ahorradoras.com/\n",
            "Scraping text from: https://pix-geeks.com\n",
            "Detected a Cloudflare version 2 challenge, This feature is not available in the opensource (free) version.\n",
            "Scraping text from: https://www.ciclismoafondo.es/\n",
            "Scraping text from: https://www.revistaoxigeno.es/\n",
            "Scraping text from: https://www.triatlonweb.es/\n",
            "Scraping text from: https://www.trailrun.es/\n",
            "Scraping text from: https://www.actualidadmotor.com\n",
            "Scraping text from: https://estudio-27.com\n",
            "Scraping text from: https://www.etapainfantil.com\n",
            "Scraping text from: https://www.mexicodesconocido.com.mx\n",
            "Scraping text from: https://ingenieriareal.com\n",
            "Scraping text from: https://www.nacion321.com/\n",
            "Scraping text from: https://www.pasala.com.mx/\n",
            "Scraping text from: https://www.elfinanciero.com.mx/\n",
            "[['https://www.larazon.es/', 'La Razón - Diario de Noticias de España y Actualidad La Razón - Diario de Noticias de España y Actualidad GroupLa Razón Opinión. Memoria e Historia. Destacados. La Razón Recomienda. Hablemos de futuro. Oé! Deportes. Egos. . Personalizado. Personalizado. La Razón Content. Pantallas. España. Internacional. Economía. The Economist. Sociedad. Cultura. Madrid . Radar. Lifestyle. Mayores FOTOGALERÍADel tinte de pelo de Giuliani al 6-0 de España a Alemania. VIDEOBLOGHay que pedir a Pablo Iglesias que sea respetuoso con el Rey. Y ADEMÁSLa estrategia de China que Estados Unidos necesita. Sanidad descarta por ahora que la vacuna de la Covid sea obligatoria. ETADetenida en Bélgica Natividad Jáuregui, la “etarra de las mariscadas”. Marruecos¿Por qué la ONU sigue considerando al Sáhara Occidental una colonia española?. DesaparecidosEl “milagro” de Agustín: el andaluz localizado en Perú tras dos años desaparecido. DespilfarroSánchez envía su coche oficial vacío de Madrid a La Rioja para cubrir un t'], ['https://www.bezzia.com', 'Todo para la mujer | Bezzia.com Bezzia es un portal femenino con toda la información para la mujer. Los mejores consejos para cuidarte y sacarte el mejor partido. Descubre, deslumbra y disfruta con Bezzia.com. Bezzia Últimas noticias. Actualidad. Belleza. Decoración. Hogar. Lifestyle. Madres. Moda. Psicología y pareja. Recetas. Salud Newsletter de Bezzia.com Una de las preguntas que más se repite en estos momentos es cuándo podremos salir a la calle y cuando…. 19 de noviembre de 2020. 17 de noviembre de 2020. 12 de noviembre de 2020. 19 de noviembre de 2020. 18 de noviembre de 2020. 15 de noviembre de 2020. 20 de noviembre de 2020. 19 de noviembre de 2020. 16 de noviembre de 2020. 21 de noviembre de 2020. 17 de noviembre de 2020. 14 de noviembre de 2020. 18 de noviembre de 2020. 11 de noviembre de 2020. 4 de noviembre de 2020. 20 de noviembre de 2020. 18 de noviembre de 2020. 17 de noviembre de 2020. 20 de noviembre de 2020. 19 de noviembre de 2020. 18 de noviembre de 2020. 19 de novi'], ['https://www.ahorradoras.com/', 'Muestras Gratis, Descuentos, Cupones, Trucos de ahorro Ahorradoras es la web de ahorro que te ayuda a optimizar tu vida. Saca el máximo partido a tu dinero, espacio, tiempo. Economía Doméstica, Limpieza y Orden. La mayor comunidad de ahorro y vida práctica ¡no te lo pierdas!. últimos post. Limpieza. Hemos probado. economía doméstica. Orden en Casa. sobre mi. APRENDE A AHORRAR. todas las secciones. gratis. Aprovéchate de los mejores. Consigue dinero y regalos con estas. Lo más leído. Lo más buscado con nuestro equipo Somos más de770.000Ahorradoras. Somos más de 770.000 Ahorradoras. Gran Descuento en el Robot de Cocina Mambo10090 de Cecotec ¡Solo 299€!. Nutriplatos gratis a domicilio. Opinión del Robot Aspirador Conga 5490. Taurus Mycook Touch, mi opinión con PROS y CONTRAS. No te pierdas los consejos para AHORRAR este BLACK FRIDAY. Los consejos y trucos de Ahorradoras para esta gran fiesta de las compras.. Hoy las muestras gratis de cosmética son para ellos que también se merecen la op'], ['https://pix-geeks.com'], ['https://www.ciclismoafondo.es/', 'Ciclismo a fondo La web de referencia para los amantes del ciclismo de carretera. Todas las noticias de competición y resultados, pruebas de bicicletas y material, los mejores artículos de entrenamiento y alilmentación, y mucho más \\n                    Ciclismo a fondo\\n                    \\n\\n\\n \\nLópez-Cózar vuelve a profesionales con Burgos BH\\n. \\nMareczko regresa al Vini Zabù\\n. \\nGore renueva su chaqueta para el día a día\\n. \\nTeam Qhubeka Assos: el proyecto del NTT tendrá continuidad\\n. \\nJavier Romo, entre los seis nuevos fichajes del Astana-Premier Tech\\n. \\nCaja Rural-Seguros RGA afianza su nómina de escaladores para la próxima temporada\\n. \\nPolar Vantage V2: el reloj multisport con la tecnología más avanzada\\n. \\nŠkoda Enyaq iV, el primer vehículo de dirección de carrera 100% eléctrico\\n. \\nThe Flandrien Challenge, un desafío directo al corazón de los ciclistas\\n. \\nŠKODA, corazón ciclista\\n. \\nGirona-Costa Brava: un paraíso para los amantes del cicloturismo y del Gravel\\n. \\nLloret de Mar, un paraí'], ['https://www.revistaoxigeno.es/', 'Revista Oxígeno La revista más vendida de deporte y naturaleza. Estilo de vida outdoor para viajar y aventurarse ahí fuera. \\n                    Oxigeno\\n                    \\n\\n\\n \\nAlex Megos descubre un nuevo límite\\n. \\nEl Black Friday llega al snowboard y splitboard de la mano de Help Snowboards\\n. \\nSharma Climbing llega a Madrid, el centro de escalada más grande y completo de España\\n. \\nMuelas y cañones en las Merindades burgalesas en BTT\\n. \\nNuevas becas Where is The Limit que ayudan a deportistas amateurs a alcanzar sus sueños\\n. \\nPaisajes singulares: Las Caras de Buendía\\n. \\nDescubre la RUTA 040: ¿te atreves a subir desde el mar a la cima del Teide?\\n. \\nAdidas Terrex: las zapatillas más versátiles para trail run\\n. \\nRuta Lurbel entre refugios: Travesía Els Ports o Puertos de Tortosa Beceite\\n. \\nTailandia: descubre la cara outdoor del País de la Sonrisa\\n. \\nLa Val d’Aran, un edén para el senderista\\n. \\nMontserrat: un parque natural a la medida del deportista\\n. \\nSalines Bassegoda: Territorio En'], ['https://www.triatlonweb.es/', 'La web de la revista Triatlón: Un solo deporte no es suficiente Triatlon es una web y una revista dedicada a los tres deportes: Running, Natacion y Ciclismo. Información sobre equipamiento, nutrición y preparacíón para triatletas. Calendario de eventos. \\n                    Triatlon\\n                    \\n\\n\\n \\nDoble sesión de carrera a pie: ¿sí o no?\\n. \\nLos 10 errores que nos llevan a \\'hacer agua\\'\\n. \\n[VÍDEO] Así se monta la Speedmax de Jan Frodeno: \"Gracias, Canyon, por tu sangre, sudor y lágrimas\"\\n. \\n[VÍDEO] Ojo con Sanders para el Mundial de Daytona: así han sido sus últimas series en la pista\\n. \\nYa es oficial: Javier Romo ficha por el Astana\\n. \\nLas 6 mejores ofertas de New Balance del Black Friday\\n. \\n[TEST] Así es Polar Vantage 2, el dispositivo multi-deporte con todo lo que el triatleta necesita\\n. \\n[VÍDEO-TEST] Ya está aquí la nueva Speedmax Disc: el análisis de Triluarca\\n. \\nLos tres nuevos productos de Finisher® para potenciar la fuerza del triatleta\\n. \\nAsí es la bolsa de transición'], ['https://www.trailrun.es/', 'Trailrun Trail Run, la revista de trail running hecha por y para corredores de montaña \\n                    Trailrun\\n                    \\n\\n\\n \\nEl hielo, un gran aliado contra las lesiones\\n. \\nTenerife Bluetrail será Campeonato de España Ultra Individual y por selecciones autonómicas\\n. \\nAnna Comet inicia su temporada 2021 compitiendo en la 3 días en Ibiza\\n. \\nUganda, nueva meca del atletismo mundial\\n. \\nConsejos nutricionales para afrontar el invierno corriendo por las montañas\\n. \\nUltra test Nike Pegasus Trail 2. Querrás salir a correr\\n. \\nAgravic flow, la zapatilla más versátil de adidas Terrex\\n. \\nNueva Gel-Fujitrabuco SKY: la zapatilla voladora de Asics\\n. \\nLos calcetines y medias que retrasan tu fatiga y aumentan tu rendimiento\\n. \\nPau Capell toca el cielo en el Teide\\n. \\nTécnica trail running: En llano\\n. \\nTres ejercicios imprescindibles para un corredor de Trail\\n. \\nHoy tocan series. La importancia del trabajo anaeróbico en el trail\\n. \\nMejora como corredor, fortalece tu tren superior\\n. \\nLos'], ['https://www.actualidadmotor.com', 'Noticias sobre coches y motor | Actualidad Motor Noticias sobre coches y motor. Todos los nuevos lanzamientos de modelos al mercado, las noticias sobre las principales marcas del sector del automóvil Actualidad Motor El Subaru BRZ ya ha sido desvelado, aunque no llegará a Europa. Prueba Toyota GR Yaris 1.6 Turbo 261 CV GR Four. Honda Civic Prototype: La undécima generación está cada vez más cerca. Prueba Mercedes GLA 200 7G-DCT 163 CV AMG Line (con vídeo). \\nBMW S 1000 R, la hermana naked de la RR se actualiza\\n. \\nEl Grupo FCA y el Grupo PSA anuncian la fecha para votar su asociación\\n. \\n¡Atento! Daimler AG podría recibir motores gasolina fabricados en China\\n. \\nFiat Cronos MY21: El sedán italiano cambia para seguir líder en Mercosur\\n. \\nEl Subaru XV refuerza su estética y mejora aún más su seguridad\\n. \\nMini Vision Urbanaut: Así entiende la movilidad del futuro la firma inglesa\\n. \\nMercedes-Benz Citan: La «gemela» del Kangoo anuncia fecha de debut\\n. \\nNissan Micra MY2021: Más tecnología y pe'], ['https://estudio-27.com', '▷ Diseño Web en Asturias | ESTUDIO 27 Si estás buscando una agencia de diseño web Asturias, en Estudio 27 te ofrecemos nuestra experiencia y soluciones profesionales. Contáctanos ☎️ Estudio 27. Diseño de páginas web en Asturias Queremos ser tu agencia de diseño web en Asturias. Diseño web a medida. Footer.  Estudio 27 es una agencia de diseño web y marketing digital con experiencia y profesionalidad.. Háblanos de tu proyecto y te ayudaremos. Si estás buscando una agencia de diseño web, cuéntanos como podemos ayudarte.. Preguntas Frecuentes sobre diseño web. Han confiado en nosotros. Opiniones de nuestros clientes. Contacta con nosotros. Tenemos presencia en. Navegación. Contacto. Cookies Propias. Cookies de Analítica. Cookies Publicitarias Dinos lo que quieres y lo crearemos. Nuestros trabajos son 100% a medida.. Nuestros trabajos están optimizados para ganar visibilidad y autoridad en Google.. Diseño web elegante, vanguardista y con cariño. No encontrarás dos iguales.. Al alcance de '], ['https://www.etapainfantil.com', 'Etapa Infantil - Embarazo, bebés, niños y familia Revista digital dirigida a padres, madres, abuelos y mujeres embarazadas que quieran saber más sobre temas relacionados con bebés, niños y familia en general. Aportamos cada día contenido de calidad relacionado con la educación, la salud y mucho más.   10 calendarios de adviento que harán ilusión a los niños. Frases de felicitación de Navidad para enviar por WhatsApp. Tu hijo no quiere responsabilidades: ¿qué hacer?. Los 10 mejores cojines de lactancia. Los tres pilares en la educación de tus hijos. Los juguetes estrella de la Navidad 2020-2021. La Madre Teresa de Calcuta: Símbolo de la caridad entre los pobres. 10 dictados divertidos para niños. Habla así a tu bebé y aprenderá más rápido y será más inteligente. SaveFamily: Nueva tablet infantil con doble control parental y\\xa0módulo Montessori Los calendarios de adviento forman parte de una de las tradiciones navideñas que más ilusión les hace a los niños. Su origen se remonta al siglo X'], ['https://www.mexicodesconocido.com.mx', 'México Desconocido Descubre México y sus destinos: ciudades, pueblos mágicos, playas, zonas arqueológicas, gastronomía y cultura..  Pueblos Mágicos. Historias de viajes. Atractivos turísticos de México. Gastronomía. Ecoturismo y aventura. Guías turísticas de viaje. Naturaleza. Historia. Cultura. Orgullo Mexicano. Noticias en México Videos Lo más visto. Descubre y planea el viaje perfecto, encuentra atractivos, actividades y servicios.. Video más visto. Recibe infomación sobre eventos, escapadas y los mejores lugares de México directo en tu correo.. Disfruta de la e-magazine de México Desconocido con acceso gratuito'], ['https://ingenieriareal.com', 'Revista de Ingeniería, Arquitectura, Ciencia y Tecnología ✅ Diseño y construcción de tu vivienda, consejos, detalles constructivos, uso de energía solar fotovoltaica en ingeniería. Revista de Ingeniería, Arquitectura, Ciencia y Tecnología Revista de Ingeniería, Arquitectura, Ciencia y Tecnología. ¿Miedo?, no si sabes elegir el tipo de cimentación. Tipos de pavimentos y sus comparativas. TALUD; Clasificación, diseño y recomendaciones. Cómo se debe instalar un sanitario y lavamanos. Cómo funciona el Canal de Panamá. Programas para Texas Instruments TI-89. Reglas a seguir sobre dimensiones de escaleras. Paneles solares, lo que debes saber. Estructuras geológicas por tipo de esfuerzo. 10 Consejos para construcción de cimiento ciclópeo. Planta de asfalto; tipos y funcionamiento. Cómo hacer un pozo séptico en pocos pasos  '], ['https://www.nacion321.com/', \"nación321 Plataforma digital de infoentretenimiento y videos. Ganadora del EliotAwards2018 y ReedLatino2018. Una de las 3 mejores startups de noticias y mejor uso de video de América Latina. Chiapas, segunda entidad en México que pasa a semáforo verde Los looks de Yalitza Aparicio en los Latin Grammy. Lo que debes saber sobre el caso Cienfuegos . Datos curiosos de los presidentes mexicanos Ni guardes el cobertor: CDMX seguirá con clima frío. Si se legaliza la marihuana, se aplicará el IEPS: Herrera. Detienen a 2 abuelitas que traían droga en sus zapatos. SFP inhabilita y multa a exsecretaria de Cultura de Peña. Padres de niños con cáncer presentan denuncia contra AMLO. AMLO anuncia decreto para que adultos mayores estén en casa. Así podrás inscribir a tu hijo a 'Mi Beca para Empezar'. Transfeminicidio, otra cara de la violencia contra la mujer. La confianza en el Ejército. Trump seguirá haciendo daño. ¿Semáforo rojo?, mejor calculadora personal. 100 mil muertos, el fracaso del otro Ló\"], ['https://www.pasala.com.mx/', \"Pásala Pásala es el sitio del periódico con mayor venta en México, con la información más relevante en noticias, deportes, espectáculos, ciudad y actualidad. Pásala - Home La CDMX está en riesgo de regresar a semáforo rojo. Pfizer tendría la vacuna del covid-19 lista pa' diciembre. Chica de 17 años libra el cáncer en plena pandemia. Andrés Lillini será el DT de Pumas por dos años más. Scout asegura que Chucky Lozano le vendría bien a la Premier. Ibrahimovic regaló PlayStations 5 a sus cuates del Milan. Lupita Jones le pide disculpas en video a Sofía Aragón. Salvador Zerboni revela que Livia Brito sí le robó algo de su casa. Brigitte Bardot revela que se intentó quitar la vida a los 16 años  \\n\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\tLos cuates de Zlatan, entre los que destacan: Rafael Leao, Samu Castillejo y Mateo Musacchio, presumieron su regalo de Navidad adelantado\\n\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t. \\n\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\tAunque la modelo a diario recibe piropos, dulces y atrevidos, de parte de sus casi 13 millones de followers, tamb\"], ['https://www.elfinanciero.com.mx/', 'El Financiero | Las noticias de finanzas, economía y política más importantes del país. EL FINANCIERO es el principal diario especializado en finanzas, economía, negocios y política de México con las noticias más importantes en tiempo real. El Financiero | Las noticias de finanzas, economía y política más importantes del país.   Caso Interjet: se habría quedado con dinero de impuestos que pagaste por tus boletos de avión. De acuerdo con un documento interno del Gobierno de México visto por Bloomberg News, la aerolínea también se habría quedado con los fondos retenidos del ISR de sus empleados.. Empresas:Familia Alemán, dueños de Interjet, negocia con las autoridades para evitar cargos por fraude fiscal. Chiapas, segunda entidad en México que pasa a verde en el semáforo COVID. Semáforo COVID en México: en este nivel estará tu estado del 23 de noviembre al 6 de diciembre. Pablo Hiriart, Raymundo Riva Palacio y Jonathan Ruiz, entre las columnas más leídas de la semana. ¿Trauma generacion']]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "2su4E_ICLhvY",
        "outputId": "bc4b64fc-ca68-498c-b79b-f0c1500259ec"
      },
      "source": [
        "#We iterate over our list and we translate the content into English. We append the translation into the list.\n",
        "#If the content is already in English, we just append the same content in English again.\n",
        "#If you receive an error like 'NoneType' object has no attribute 'group', try to run it again\n",
        "\n",
        "from googletrans import Translator\n",
        "import time\n",
        "\n",
        "translator = Translator()\n",
        "\n",
        "\n",
        "for iteration in range (len(data)):\n",
        "\n",
        "  if english_content == \"No\":\n",
        "\n",
        "    try:\n",
        "            print(\"Translating content for: \" + data[iteration][0])\n",
        "            translation = translator.translate(data[iteration][1]).text\n",
        "            translation = str(translation)[0:999]\n",
        "            data[iteration].append(translation)\n",
        "            time.sleep(5)\n",
        "            \n",
        "    except Exception as e:\n",
        "            print(e)\n",
        "\n",
        "  else:\n",
        "\n",
        "    data[iteration].append(data[iteration][1])\n",
        "\n",
        "\n",
        "print(data)"
      ],
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Translating content for: https://www.larazon.es/\n",
            "Translating content for: https://www.bezzia.com\n",
            "Translating content for: https://www.ahorradoras.com/\n",
            "Translating content for: https://pix-geeks.com\n",
            "list index out of range\n",
            "Translating content for: https://www.ciclismoafondo.es/\n",
            "Translating content for: https://www.revistaoxigeno.es/\n",
            "Translating content for: https://www.triatlonweb.es/\n",
            "Translating content for: https://www.trailrun.es/\n",
            "Translating content for: https://www.actualidadmotor.com\n",
            "Translating content for: https://estudio-27.com\n",
            "Translating content for: https://www.etapainfantil.com\n",
            "Translating content for: https://www.mexicodesconocido.com.mx\n",
            "Translating content for: https://ingenieriareal.com\n",
            "Translating content for: https://www.nacion321.com/\n",
            "Translating content for: https://www.pasala.com.mx/\n",
            "Translating content for: https://www.elfinanciero.com.mx/\n",
            "[['https://www.larazon.es/', 'La Razón - Diario de Noticias de España y Actualidad La Razón - Diario de Noticias de España y Actualidad GroupLa Razón Opinión. Memoria e Historia. Destacados. La Razón Recomienda. Hablemos de futuro. Oé! Deportes. Egos. . Personalizado. Personalizado. La Razón Content. Pantallas. España. Internacional. Economía. The Economist. Sociedad. Cultura. Madrid . Radar. Lifestyle. Mayores FOTOGALERÍADel tinte de pelo de Giuliani al 6-0 de España a Alemania. VIDEOBLOGHay que pedir a Pablo Iglesias que sea respetuoso con el Rey. Y ADEMÁSLa estrategia de China que Estados Unidos necesita. Sanidad descarta por ahora que la vacuna de la Covid sea obligatoria. ETADetenida en Bélgica Natividad Jáuregui, la “etarra de las mariscadas”. Marruecos¿Por qué la ONU sigue considerando al Sáhara Occidental una colonia española?. DesaparecidosEl “milagro” de Agustín: el andaluz localizado en Perú tras dos años desaparecido. DespilfarroSánchez envía su coche oficial vacío de Madrid a La Rioja para cubrir un t', 'La Razón - Newspaper of Spain and Actualidad La Razón - Newspaper of Spain and Actualidad GroupLa Razón Opinion. Memory and History. Featured. The Reason Recommends. Let\\'s talk about the future. Oé! Sports. Egos. . Personalized. Personalized. The Content Reason. Screens. Spain. International. Economy. The Economist. Society. Culture. Madrid. Radar. Lifestyle. Older PHOTO GALLERY Giuliani\\'s hair dye to 6-0 from Spain to Germany. VIDEOBLOG We have to ask Pablo Iglesias to be respectful of the King. AND PLUS The China strategy that the United States needs. Health rules for now that the Covid vaccine is mandatory. ETA Held in Belgium Natividad Jáuregui, the \"ETA member of seafood.\" Morocco Why does the UN continue to consider Western Sahara a Spanish colony? The \"miracle\" of Agustín: the Andalusian located in Peru after two years disappeared. Waste Sanchez sends his empty official car from Madrid to La Rioja to cover at'], ['https://www.bezzia.com', 'Todo para la mujer | Bezzia.com Bezzia es un portal femenino con toda la información para la mujer. Los mejores consejos para cuidarte y sacarte el mejor partido. Descubre, deslumbra y disfruta con Bezzia.com. Bezzia Últimas noticias. Actualidad. Belleza. Decoración. Hogar. Lifestyle. Madres. Moda. Psicología y pareja. Recetas. Salud Newsletter de Bezzia.com Una de las preguntas que más se repite en estos momentos es cuándo podremos salir a la calle y cuando…. 19 de noviembre de 2020. 17 de noviembre de 2020. 12 de noviembre de 2020. 19 de noviembre de 2020. 18 de noviembre de 2020. 15 de noviembre de 2020. 20 de noviembre de 2020. 19 de noviembre de 2020. 16 de noviembre de 2020. 21 de noviembre de 2020. 17 de noviembre de 2020. 14 de noviembre de 2020. 18 de noviembre de 2020. 11 de noviembre de 2020. 4 de noviembre de 2020. 20 de noviembre de 2020. 18 de noviembre de 2020. 17 de noviembre de 2020. 20 de noviembre de 2020. 19 de noviembre de 2020. 18 de noviembre de 2020. 19 de novi', 'Everything for women | Bezzia.com Bezzia is a female portal with all the information for women. The best tips to take care of yourself and get the best out of yourself. Discover, dazzle and enjoy with Bezzia.com. Bezzia Latest news. Present. Beauty. Decor. Home. Lifestyle. Mothers Fashion. Psychology and couple. Recipes. Health Bezzia.com Newsletter One of the most repeated questions at the moment is when can we go out and when…. November 19, 2020. November 17, 2020. November 12, 2020. November 19, 2020. November 18, 2020. November 15, 2020. November 20, 2020. November 19, 2020. November 16, November 2020. November 21, 2020. November 17, 2020. November 14, 2020. November 18, 2020. November 11, 2020. November 4, 2020. November 20, 2020. November 18, 2020. November 17, 2020. November 20, 2020. November 19, 2020. November 18, 2020. November 19'], ['https://www.ahorradoras.com/', 'Muestras Gratis, Descuentos, Cupones, Trucos de ahorro Ahorradoras es la web de ahorro que te ayuda a optimizar tu vida. Saca el máximo partido a tu dinero, espacio, tiempo. Economía Doméstica, Limpieza y Orden. La mayor comunidad de ahorro y vida práctica ¡no te lo pierdas!. últimos post. Limpieza. Hemos probado. economía doméstica. Orden en Casa. sobre mi. APRENDE A AHORRAR. todas las secciones. gratis. Aprovéchate de los mejores. Consigue dinero y regalos con estas. Lo más leído. Lo más buscado con nuestro equipo Somos más de770.000Ahorradoras. Somos más de 770.000 Ahorradoras. Gran Descuento en el Robot de Cocina Mambo10090 de Cecotec ¡Solo 299€!. Nutriplatos gratis a domicilio. Opinión del Robot Aspirador Conga 5490. Taurus Mycook Touch, mi opinión con PROS y CONTRAS. No te pierdas los consejos para AHORRAR este BLACK FRIDAY. Los consejos y trucos de Ahorradoras para esta gran fiesta de las compras.. Hoy las muestras gratis de cosmética son para ellos que también se merecen la op', \"Free Samples, Discounts, Coupons, Saving Tricks Savers is the savings website that helps you optimize your life. Get the most out of your money, space, time. Home Economics, Cleanliness and Order. The largest community of savings and practical life, do not miss it! last post. Cleaning. We have tested. domestic economy. Order at Home. about me. LEARN TO SAVE. all sections. free. Take advantage of the best. Get money and gifts with these. The most read. The most sought after with our team We are more than 770,000 Savers. We are more than 770,000 Savers. Great Discount on the Cecotec Mambo10090 Kitchen Robot Only € 299 !. Free Nutriplates at home. Opinion of the Conga 5490 Robot Vacuum Cleaner. Taurus Mycook Touch, my opinion with PROS and CONS. Don't miss the tips to SAVE this BLACK FRIDAY. Saving tips and tricks for this great shopping party .. Today the free cosmetic samples are for them who also deserve the op\"], ['https://pix-geeks.com'], ['https://www.ciclismoafondo.es/', 'Ciclismo a fondo La web de referencia para los amantes del ciclismo de carretera. Todas las noticias de competición y resultados, pruebas de bicicletas y material, los mejores artículos de entrenamiento y alilmentación, y mucho más \\n                    Ciclismo a fondo\\n                    \\n\\n\\n \\nLópez-Cózar vuelve a profesionales con Burgos BH\\n. \\nMareczko regresa al Vini Zabù\\n. \\nGore renueva su chaqueta para el día a día\\n. \\nTeam Qhubeka Assos: el proyecto del NTT tendrá continuidad\\n. \\nJavier Romo, entre los seis nuevos fichajes del Astana-Premier Tech\\n. \\nCaja Rural-Seguros RGA afianza su nómina de escaladores para la próxima temporada\\n. \\nPolar Vantage V2: el reloj multisport con la tecnología más avanzada\\n. \\nŠkoda Enyaq iV, el primer vehículo de dirección de carrera 100% eléctrico\\n. \\nThe Flandrien Challenge, un desafío directo al corazón de los ciclistas\\n. \\nŠKODA, corazón ciclista\\n. \\nGirona-Costa Brava: un paraíso para los amantes del cicloturismo y del Gravel\\n. \\nLloret de Mar, un paraí', 'Cycling in depth The reference website for road cycling enthusiasts. All the competition news and results, bike and equipment tests, the best training and nutrition articles, and much more\\n                    Thorough cycling\\n                    \\n\\n\\n \\nLópez-Cózar returns to professionals with Burgos BH\\n.\\nMareczko returns to the Vini Zabù\\n.\\nGore renews his jacket for day to day\\n.\\nTeam Qhubeka Assos: the NTT project will continue\\n.\\nJavier Romo, among the six new signings of Astana-Premier Tech\\n.\\nCaja Rural-Seguros RGA strengthens its list of climbers for next season\\n.\\nPolar Vantage V2: the multisport watch with the most advanced technology\\n.\\nŠkoda Enyaq iV, the first 100% electric race steering vehicle\\n.\\nThe Flandrien Challenge, a direct challenge to the hearts of cyclists\\n.\\nŠKODA, the racing heart\\n.\\nGirona-Costa Brava: a paradise for lovers of cycling and Gravel\\n.\\nLloret de Mar, a paradise'], ['https://www.revistaoxigeno.es/', 'Revista Oxígeno La revista más vendida de deporte y naturaleza. Estilo de vida outdoor para viajar y aventurarse ahí fuera. \\n                    Oxigeno\\n                    \\n\\n\\n \\nAlex Megos descubre un nuevo límite\\n. \\nEl Black Friday llega al snowboard y splitboard de la mano de Help Snowboards\\n. \\nSharma Climbing llega a Madrid, el centro de escalada más grande y completo de España\\n. \\nMuelas y cañones en las Merindades burgalesas en BTT\\n. \\nNuevas becas Where is The Limit que ayudan a deportistas amateurs a alcanzar sus sueños\\n. \\nPaisajes singulares: Las Caras de Buendía\\n. \\nDescubre la RUTA 040: ¿te atreves a subir desde el mar a la cima del Teide?\\n. \\nAdidas Terrex: las zapatillas más versátiles para trail run\\n. \\nRuta Lurbel entre refugios: Travesía Els Ports o Puertos de Tortosa Beceite\\n. \\nTailandia: descubre la cara outdoor del País de la Sonrisa\\n. \\nLa Val d’Aran, un edén para el senderista\\n. \\nMontserrat: un parque natural a la medida del deportista\\n. \\nSalines Bassegoda: Territorio En', 'Oxygen Magazine The best-selling sport and nature magazine. Outdoor lifestyle to travel and venture out there.\\n                    Oxygen\\n                    \\n\\n\\n \\nAlex Megos discovers a new limit\\n.\\nBlack Friday comes to snowboarding and splitboarding from Help Snowboards\\n.\\nSharma Climbing arrives in Madrid, the largest and most complete climbing center in Spain\\n.\\nMills and canyons in the Merindades Burgos by BTT\\n.\\nNew Where is The Limit scholarships that help amateur athletes achieve their dreams\\n.\\nUnique landscapes: The Faces of Buendía\\n.\\nDiscover ROUTE 040: do you dare to go up from the sea to the top of Teide?\\n.\\nAdidas Terrex: the most versatile shoe for trail run\\n.\\nLurbel route between shelters: Crossing Els Ports or Ports of Tortosa Beceite\\n.\\nThailand: discover the outdoor side of the Land of Smiles\\n.\\nThe Val d’Aran, an Eden for the hiker\\n.\\nMontserrat: a natural park tailored to the athlete\\n.\\nSalines Bassegoda: Territory In'], ['https://www.triatlonweb.es/', 'La web de la revista Triatlón: Un solo deporte no es suficiente Triatlon es una web y una revista dedicada a los tres deportes: Running, Natacion y Ciclismo. Información sobre equipamiento, nutrición y preparacíón para triatletas. Calendario de eventos. \\n                    Triatlon\\n                    \\n\\n\\n \\nDoble sesión de carrera a pie: ¿sí o no?\\n. \\nLos 10 errores que nos llevan a \\'hacer agua\\'\\n. \\n[VÍDEO] Así se monta la Speedmax de Jan Frodeno: \"Gracias, Canyon, por tu sangre, sudor y lágrimas\"\\n. \\n[VÍDEO] Ojo con Sanders para el Mundial de Daytona: así han sido sus últimas series en la pista\\n. \\nYa es oficial: Javier Romo ficha por el Astana\\n. \\nLas 6 mejores ofertas de New Balance del Black Friday\\n. \\n[TEST] Así es Polar Vantage 2, el dispositivo multi-deporte con todo lo que el triatleta necesita\\n. \\n[VÍDEO-TEST] Ya está aquí la nueva Speedmax Disc: el análisis de Triluarca\\n. \\nLos tres nuevos productos de Finisher® para potenciar la fuerza del triatleta\\n. \\nAsí es la bolsa de transición', 'The website of the Triathlon magazine: A single sport is not enough Triathlon is a website and a magazine dedicated to the three sports: Running, Swimming and Cycling. Information on equipment, nutrition and preparation for triathletes. Events calendar.\\n                    Triathlon\\n                    \\n\\n\\n \\nDouble running session: yes or no?\\n.\\nThe 10 mistakes that lead us to \\'make water\\'\\n.\\n[VIDEO] This is how Jan Frodeno\\'s Speedmax is assembled: \"Thank you, Canyon, for your blood, sweat and tears\"\\n.\\n[VIDEO] Watch out for Sanders for the Daytona World Championship: this has been his last series on the track\\n.\\nIt\\'s official: Javier Romo signs for Astana\\n.\\nTop 6 New Balance Black Friday Deals\\n.\\n[TEST] This is Polar Vantage 2, the multi-sport device with everything the triathlete needs\\n.\\n[VIDEO-TEST] The new Speedmax Disc is here: Triluarca\\'s analysis\\n.\\nThe three new Finisher® products to enhance the strength of the triathlete\\n.\\nThis is the transition bag'], ['https://www.trailrun.es/', 'Trailrun Trail Run, la revista de trail running hecha por y para corredores de montaña \\n                    Trailrun\\n                    \\n\\n\\n \\nEl hielo, un gran aliado contra las lesiones\\n. \\nTenerife Bluetrail será Campeonato de España Ultra Individual y por selecciones autonómicas\\n. \\nAnna Comet inicia su temporada 2021 compitiendo en la 3 días en Ibiza\\n. \\nUganda, nueva meca del atletismo mundial\\n. \\nConsejos nutricionales para afrontar el invierno corriendo por las montañas\\n. \\nUltra test Nike Pegasus Trail 2. Querrás salir a correr\\n. \\nAgravic flow, la zapatilla más versátil de adidas Terrex\\n. \\nNueva Gel-Fujitrabuco SKY: la zapatilla voladora de Asics\\n. \\nLos calcetines y medias que retrasan tu fatiga y aumentan tu rendimiento\\n. \\nPau Capell toca el cielo en el Teide\\n. \\nTécnica trail running: En llano\\n. \\nTres ejercicios imprescindibles para un corredor de Trail\\n. \\nHoy tocan series. La importancia del trabajo anaeróbico en el trail\\n. \\nMejora como corredor, fortalece tu tren superior\\n. \\nLos', \"Trailrun Trail Run, the trail running magazine made by and for mountain runners\\n                    Trailrun\\n                    \\n\\n\\n \\nIce, a great ally against injuries\\n.\\nTenerife Bluetrail will be the Spanish Ultra Individual Championship and by regional teams\\n.\\nAnna Comet starts her 2021 season competing in the 3 days in Ibiza\\n.\\nUganda, new mecca for world athletics\\n.\\nNutritional tips to face winter running through the mountains\\n.\\nUltra test Nike Pegasus Trail 2. You'll want to go for a run\\n.\\nAgravic flow, the most versatile sneaker from adidas Terrex\\n.\\nNew Gel-Fujitrabuco SKY: the flying shoe from Asics\\n.\\nThe socks and stockings that delay your fatigue and increase your performance\\n.\\nPau Capell touches the sky on Teide\\n.\\nTrail running technique: Flat\\n.\\nThree essential exercises for a trail runner\\n.\\nToday they play series. The importance of anaerobic work on the trail\\n.\\nImprove as a runner, strengthen your upper body\\n.\\nThe\"], ['https://www.actualidadmotor.com', 'Noticias sobre coches y motor | Actualidad Motor Noticias sobre coches y motor. Todos los nuevos lanzamientos de modelos al mercado, las noticias sobre las principales marcas del sector del automóvil Actualidad Motor El Subaru BRZ ya ha sido desvelado, aunque no llegará a Europa. Prueba Toyota GR Yaris 1.6 Turbo 261 CV GR Four. Honda Civic Prototype: La undécima generación está cada vez más cerca. Prueba Mercedes GLA 200 7G-DCT 163 CV AMG Line (con vídeo). \\nBMW S 1000 R, la hermana naked de la RR se actualiza\\n. \\nEl Grupo FCA y el Grupo PSA anuncian la fecha para votar su asociación\\n. \\n¡Atento! Daimler AG podría recibir motores gasolina fabricados en China\\n. \\nFiat Cronos MY21: El sedán italiano cambia para seguir líder en Mercosur\\n. \\nEl Subaru XV refuerza su estética y mejora aún más su seguridad\\n. \\nMini Vision Urbanaut: Así entiende la movilidad del futuro la firma inglesa\\n. \\nMercedes-Benz Citan: La «gemela» del Kangoo anuncia fecha de debut\\n. \\nNissan Micra MY2021: Más tecnología y pe', \"News about cars and motor | Actualidad Motor News about cars and motor. All the new model launches on the market, the news about the main brands in the automotive sector. Motor News The Subaru BRZ has already been unveiled, although it will not reach Europe. Test Toyota GR Yaris 1.6 Turbo 261 CV GR Four. Honda Civic Prototype: The 11th generation is getting closer. Mercedes GLA 200 7G-DCT 163 CV AMG Line test (with video).\\nBMW S 1000 R, the naked sister of the RR is updated\\n.\\nThe FCA Group and the PSA Group announce the date to vote their association\\n.\\nAttentive! Daimler AG could receive gasoline engines made in China\\n.\\nFiat Cronos MY21: The Italian sedan changes to remain a leader in Mercosur\\n.\\nThe Subaru XV reinforces its aesthetics and further improves its safety\\n.\\nMini Vision Urbanaut: This is how the English firm understands the mobility of the future\\n.\\nMercedes-Benz Citan: Kangoo 'twin' announces debut date\\n.\\nNissan Micra MY2021: More technology and pe\"], ['https://estudio-27.com', '▷ Diseño Web en Asturias | ESTUDIO 27 Si estás buscando una agencia de diseño web Asturias, en Estudio 27 te ofrecemos nuestra experiencia y soluciones profesionales. Contáctanos ☎️ Estudio 27. Diseño de páginas web en Asturias Queremos ser tu agencia de diseño web en Asturias. Diseño web a medida. Footer.  Estudio 27 es una agencia de diseño web y marketing digital con experiencia y profesionalidad.. Háblanos de tu proyecto y te ayudaremos. Si estás buscando una agencia de diseño web, cuéntanos como podemos ayudarte.. Preguntas Frecuentes sobre diseño web. Han confiado en nosotros. Opiniones de nuestros clientes. Contacta con nosotros. Tenemos presencia en. Navegación. Contacto. Cookies Propias. Cookies de Analítica. Cookies Publicitarias Dinos lo que quieres y lo crearemos. Nuestros trabajos son 100% a medida.. Nuestros trabajos están optimizados para ganar visibilidad y autoridad en Google.. Diseño web elegante, vanguardista y con cariño. No encontrarás dos iguales.. Al alcance de ', '▷ Web Design in Asturias | ESTUDIO 27 If you are looking for an Asturias web design agency, at Estudio 27 we offer you our experience and professional solutions. Contact us ☎️ Estudio 27. Web page design in Asturias We want to be your web design agency in Asturias. Custom web design. Footer. Estudio 27 is a web design and digital marketing agency with experience and professionalism. Tell us about your project and we will help you. If you are looking for a web design agency, tell us how we can help you. Frequently Asked Questions about web design. They have trusted us. Opinions of our clients. Contact us. We have a presence in. Navigation. Contact. Own Cookies. Analytics Cookies. Advertising Cookies Tell us what you want and we will create it. Our works are 100% tailor-made. Our works are optimized to gain visibility and authority in Google. Elegant, avant-garde and loving web design. You will not find two alike .. Within reach of'], ['https://www.etapainfantil.com', 'Etapa Infantil - Embarazo, bebés, niños y familia Revista digital dirigida a padres, madres, abuelos y mujeres embarazadas que quieran saber más sobre temas relacionados con bebés, niños y familia en general. Aportamos cada día contenido de calidad relacionado con la educación, la salud y mucho más.   10 calendarios de adviento que harán ilusión a los niños. Frases de felicitación de Navidad para enviar por WhatsApp. Tu hijo no quiere responsabilidades: ¿qué hacer?. Los 10 mejores cojines de lactancia. Los tres pilares en la educación de tus hijos. Los juguetes estrella de la Navidad 2020-2021. La Madre Teresa de Calcuta: Símbolo de la caridad entre los pobres. 10 dictados divertidos para niños. Habla así a tu bebé y aprenderá más rápido y será más inteligente. SaveFamily: Nueva tablet infantil con doble control parental y\\xa0módulo Montessori Los calendarios de adviento forman parte de una de las tradiciones navideñas que más ilusión les hace a los niños. Su origen se remonta al siglo X', \"Infant Stage - Pregnancy, babies, children and family Digital magazine aimed at parents, grandparents and pregnant women who want to know more about topics related to babies, children and family in general. Every day we provide quality content related to education, health and much more. 10 advent calendars that will make children excited. Christmas greeting phrases to send by WhatsApp. Your son does not want responsibilities: what to do? The 10 best nursing pillows. The three pillars in the education of your children. The star toys of Christmas 2020-2021. Mother Teresa of Calcutta: Symbol of charity among the poor. 10 fun dictations for kids. Talk to your baby like this and she will learn faster and be smarter. SaveFamily: New children's tablet with dual parental controls and Montessori module Advent calendars are part of one of the Christmas traditions that children are most excited about. Its origin dates back to the 10th century\"], ['https://www.mexicodesconocido.com.mx', 'México Desconocido Descubre México y sus destinos: ciudades, pueblos mágicos, playas, zonas arqueológicas, gastronomía y cultura..  Pueblos Mágicos. Historias de viajes. Atractivos turísticos de México. Gastronomía. Ecoturismo y aventura. Guías turísticas de viaje. Naturaleza. Historia. Cultura. Orgullo Mexicano. Noticias en México Videos Lo más visto. Descubre y planea el viaje perfecto, encuentra atractivos, actividades y servicios.. Video más visto. Recibe infomación sobre eventos, escapadas y los mejores lugares de México directo en tu correo.. Disfruta de la e-magazine de México Desconocido con acceso gratuito', 'Unknown Mexico Discover Mexico and its destinations: cities, magical towns, beaches, archaeological sites, gastronomy and culture .. Pueblos Mágicos. Travel stories. Tourist attractions of Mexico. Gastronomy. Ecotourism and adventure. Tourist travel guides. Nature. History. Culture. Mexican pride. News in Mexico Videos Most viewed. Discover and plan the perfect trip, find attractions, activities and services .. Most viewed video. Receive information about events, getaways and the best places in Mexico directly to your email. Enjoy the e-magazine of Unknown Mexico with free access'], ['https://ingenieriareal.com', 'Revista de Ingeniería, Arquitectura, Ciencia y Tecnología ✅ Diseño y construcción de tu vivienda, consejos, detalles constructivos, uso de energía solar fotovoltaica en ingeniería. Revista de Ingeniería, Arquitectura, Ciencia y Tecnología Revista de Ingeniería, Arquitectura, Ciencia y Tecnología. ¿Miedo?, no si sabes elegir el tipo de cimentación. Tipos de pavimentos y sus comparativas. TALUD; Clasificación, diseño y recomendaciones. Cómo se debe instalar un sanitario y lavamanos. Cómo funciona el Canal de Panamá. Programas para Texas Instruments TI-89. Reglas a seguir sobre dimensiones de escaleras. Paneles solares, lo que debes saber. Estructuras geológicas por tipo de esfuerzo. 10 Consejos para construcción de cimiento ciclópeo. Planta de asfalto; tipos y funcionamiento. Cómo hacer un pozo séptico en pocos pasos  ', 'Engineering, Architecture, Science and Technology Magazine ✅ Design and construction of your home, advice, construction details, use of photovoltaic solar energy in engineering. Journal of Engineering, Architecture, Science and Technology Journal of Engineering, Architecture, Science and Technology. Fear? Not if you know how to choose the type of foundation. Types of pavements and their comparisons. SLOPE; Classification, design and recommendations. How to install a toilet and sink. How the Panama Canal works. Programs for Texas Instruments TI-89. Rules to follow on stair dimensions. Solar panels, what you should know. Geological structures by type of effort. 10 Tips for building a cyclopean foundation. Asphalt plant; types and operation. How to make a septic tank in a few steps'], ['https://www.nacion321.com/', \"nación321 Plataforma digital de infoentretenimiento y videos. Ganadora del EliotAwards2018 y ReedLatino2018. Una de las 3 mejores startups de noticias y mejor uso de video de América Latina. Chiapas, segunda entidad en México que pasa a semáforo verde Los looks de Yalitza Aparicio en los Latin Grammy. Lo que debes saber sobre el caso Cienfuegos . Datos curiosos de los presidentes mexicanos Ni guardes el cobertor: CDMX seguirá con clima frío. Si se legaliza la marihuana, se aplicará el IEPS: Herrera. Detienen a 2 abuelitas que traían droga en sus zapatos. SFP inhabilita y multa a exsecretaria de Cultura de Peña. Padres de niños con cáncer presentan denuncia contra AMLO. AMLO anuncia decreto para que adultos mayores estén en casa. Así podrás inscribir a tu hijo a 'Mi Beca para Empezar'. Transfeminicidio, otra cara de la violencia contra la mujer. La confianza en el Ejército. Trump seguirá haciendo daño. ¿Semáforo rojo?, mejor calculadora personal. 100 mil muertos, el fracaso del otro Ló\", \"nation321 Digital platform for infotainment and videos. Winner of the EliotAwards2018 and ReedLatino2018. One of the 3 best news startups and best use of video in Latin America. Chiapas, the second entity in Mexico to go to a green light The looks of Yalitza Aparicio at the Latin Grammy. What you should know about the Cienfuegos case. Curious facts of the Mexican presidents Don't even put the cover away: CDMX will continue with cold weather. If marijuana is legalized, the IEPS will apply: Herrera. They arrest 2 grannies who were bringing drugs in their shoes. SFP disqualifies and fines ex-secretary of Culture of Peña. Parents of children with cancer file a complaint against AMLO. AMLO announces decree for older adults to be at home. So you can register your child for 'My Scholarship to Start' Transfemicide, another face of violence against women. Trust in the Army. Trump will continue to hurt. Red traffic light? Best personal calculator. 100,000 dead, the failure of the other Ló\"], ['https://www.pasala.com.mx/', \"Pásala Pásala es el sitio del periódico con mayor venta en México, con la información más relevante en noticias, deportes, espectáculos, ciudad y actualidad. Pásala - Home La CDMX está en riesgo de regresar a semáforo rojo. Pfizer tendría la vacuna del covid-19 lista pa' diciembre. Chica de 17 años libra el cáncer en plena pandemia. Andrés Lillini será el DT de Pumas por dos años más. Scout asegura que Chucky Lozano le vendría bien a la Premier. Ibrahimovic regaló PlayStations 5 a sus cuates del Milan. Lupita Jones le pide disculpas en video a Sofía Aragón. Salvador Zerboni revela que Livia Brito sí le robó algo de su casa. Brigitte Bardot revela que se intentó quitar la vida a los 16 años  \\n\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\tLos cuates de Zlatan, entre los que destacan: Rafael Leao, Samu Castillejo y Mateo Musacchio, presumieron su regalo de Navidad adelantado\\n\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t. \\n\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\tAunque la modelo a diario recibe piropos, dulces y atrevidos, de parte de sus casi 13 millones de followers, tamb\", \"Pásala Pásala is the site of the best-selling newspaper in Mexico, with the most relevant information on news, sports, entertainment, the city and current affairs. Pass it - Home The CDMX is in risk of returning to a red light. Pfizer would have the covid-19 vaccine ready by December. 17-year-old girl fights cancer in the middle of a pandemic. Andrés Lillini will be the manager of Pumas for two more years. Scout assures that Chucky Lozano would be good for the Premier. Ibrahimovic gave PlayStations 5 to his Milan buddies. Lupita Jones apologizes to Sofía Aragón on video. Salvador Zerboni reveals that Livia Brito did steal something from her house. Brigitte Bardot reveals that she tried to kill herself at 16\\nZlatan's friends, among which the following stand out: Rafael Leao, Samu Castillejo and Mateo Musacchio, showed off their early Christmas gift\\n.\\nAlthough the model receives daily compliments, sweet and daring, from her almost 13 million followers, also\"], ['https://www.elfinanciero.com.mx/', 'El Financiero | Las noticias de finanzas, economía y política más importantes del país. EL FINANCIERO es el principal diario especializado en finanzas, economía, negocios y política de México con las noticias más importantes en tiempo real. El Financiero | Las noticias de finanzas, economía y política más importantes del país.   Caso Interjet: se habría quedado con dinero de impuestos que pagaste por tus boletos de avión. De acuerdo con un documento interno del Gobierno de México visto por Bloomberg News, la aerolínea también se habría quedado con los fondos retenidos del ISR de sus empleados.. Empresas:Familia Alemán, dueños de Interjet, negocia con las autoridades para evitar cargos por fraude fiscal. Chiapas, segunda entidad en México que pasa a verde en el semáforo COVID. Semáforo COVID en México: en este nivel estará tu estado del 23 de noviembre al 6 de diciembre. Pablo Hiriart, Raymundo Riva Palacio y Jonathan Ruiz, entre las columnas más leídas de la semana. ¿Trauma generacion', 'The Financier | The most important finance, economy and politics news in the country. EL FINANCIERO is the main newspaper specialized in finance, economy, business and politics in Mexico with the most important news in real time. The Financier | The most important finance, economy and politics news in the country. Interjet case: it would have kept tax money you paid for your plane tickets. According to an internal document of the Government of Mexico seen by Bloomberg News, the airline also would have kept the funds withheld from the ISR of its employees. Companies: Alemán Family, owners of Interjet, negotiates with the authorities to avoid fraud charges fiscal. Chiapas, the second entity in Mexico that turns green at the COVID traffic light. COVID traffic light in Mexico: your status will be at this level from November 23 to December 6. Pablo Hiriart, Raymundo Riva Palacio and Jonathan Ruiz, among the most read columns of the week. Generation trauma']]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "v4saSr-SmNBX"
      },
      "source": [
        "#@title Path to your NLP API credentials\n",
        "path_credentials_bulk = \"/content/gdrive/MyDrive/Colab Notebooks/Website Categorization/NLPAPI.json\" #@param {type:\"string\"}\n"
      ],
      "execution_count": 6,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "CjdlI0y8MeMR",
        "outputId": "e8f372f7-0f19-4415-f1c4-4977f529ca29"
      },
      "source": [
        "#We iterate over the data list and we categorize in a bulk mode the list of URLs.\n",
        "#We append the categorization into the list.\n",
        "\n",
        "import os\n",
        "from google.cloud import language_v1\n",
        "from google.cloud.language_v1 import enums\n",
        "from google.cloud import language\n",
        "from google.cloud.language import types\n",
        "from google.colab import drive\n",
        "\n",
        "drive.mount('/content/gdrive')\n",
        "os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = path_credentials_bulk\n",
        "\n",
        "for iteration in range (len(data)):\n",
        "\n",
        "  try:\n",
        "          print(\"Categorizing: \" + data[iteration][0])\n",
        "\n",
        "          text_content = str(data[iteration][2])\n",
        "          client = language_v1.LanguageServiceClient()\n",
        "          type_ = enums.Document.Type.PLAIN_TEXT\n",
        "          document = {\"content\": text_content, \"type\": type_, \"language\": \"en\"}\n",
        "          encoding_type = enums.EncodingType.UTF8\n",
        "\n",
        "          response = client.classify_text(document)\n",
        "          data[iteration].append(response.categories[0].name)\n",
        "          data[iteration].append(str(int(round(response.categories[0].confidence,3)*100))+\"%\")\n",
        "  \n",
        "  \n",
        "  except Exception as e:\n",
        "      print(e)"
      ],
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Drive already mounted at /content/gdrive; to attempt to forcibly remount, call drive.mount(\"/content/gdrive\", force_remount=True).\n",
            "Categorizing: https://www.larazon.es/\n",
            "Categorizing: https://www.bezzia.com\n",
            "Categorizing: https://www.ahorradoras.com/\n",
            "Categorizing: https://pix-geeks.com\n",
            "list index out of range\n",
            "Categorizing: https://www.ciclismoafondo.es/\n",
            "Categorizing: https://www.revistaoxigeno.es/\n",
            "Categorizing: https://www.triatlonweb.es/\n",
            "Categorizing: https://www.trailrun.es/\n",
            "Categorizing: https://www.actualidadmotor.com\n",
            "Categorizing: https://estudio-27.com\n",
            "Categorizing: https://www.etapainfantil.com\n",
            "Categorizing: https://www.mexicodesconocido.com.mx\n",
            "Categorizing: https://ingenieriareal.com\n",
            "Categorizing: https://www.nacion321.com/\n",
            "list index (0) out of range\n",
            "Categorizing: https://www.pasala.com.mx/\n",
            "Categorizing: https://www.elfinanciero.com.mx/\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 545
        },
        "id": "fUSU0O1qNvwX",
        "outputId": "06594b23-3500-4b08-e80f-01bf50910841"
      },
      "source": [
        "#With pandas we can visualize how the categorization looks like.\n",
        "\n",
        "import pandas as pd\n",
        " \n",
        "df = pd.DataFrame(data,columns=['website', 'content','translation','category','confidence'])\n",
        "df[[\"website\",\"category\",\"confidence\"]]"
      ],
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>website</th>\n",
              "      <th>category</th>\n",
              "      <th>confidence</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>https://www.larazon.es/</td>\n",
              "      <td>/News</td>\n",
              "      <td>72%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>https://www.bezzia.com</td>\n",
              "      <td>/Online Communities/Dating &amp; Personals</td>\n",
              "      <td>74%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>https://www.ahorradoras.com/</td>\n",
              "      <td>/Shopping/Consumer Resources/Coupons &amp; Discoun...</td>\n",
              "      <td>71%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>https://pix-geeks.com</td>\n",
              "      <td>None</td>\n",
              "      <td>None</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>https://www.ciclismoafondo.es/</td>\n",
              "      <td>/Hobbies &amp; Leisure</td>\n",
              "      <td>99%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>5</th>\n",
              "      <td>https://www.revistaoxigeno.es/</td>\n",
              "      <td>/Sports/Extreme Sports</td>\n",
              "      <td>50%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>6</th>\n",
              "      <td>https://www.triatlonweb.es/</td>\n",
              "      <td>/Hobbies &amp; Leisure/Water Activities/Surf &amp; Swim</td>\n",
              "      <td>89%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7</th>\n",
              "      <td>https://www.trailrun.es/</td>\n",
              "      <td>/Hobbies &amp; Leisure</td>\n",
              "      <td>97%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>8</th>\n",
              "      <td>https://www.actualidadmotor.com</td>\n",
              "      <td>/Autos &amp; Vehicles</td>\n",
              "      <td>99%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>9</th>\n",
              "      <td>https://estudio-27.com</td>\n",
              "      <td>/Jobs &amp; Education</td>\n",
              "      <td>52%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>10</th>\n",
              "      <td>https://www.etapainfantil.com</td>\n",
              "      <td>/People &amp; Society/Family &amp; Relationships/Family</td>\n",
              "      <td>98%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>11</th>\n",
              "      <td>https://www.mexicodesconocido.com.mx</td>\n",
              "      <td>/Travel</td>\n",
              "      <td>91%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>12</th>\n",
              "      <td>https://ingenieriareal.com</td>\n",
              "      <td>/Business &amp; Industrial/Energy &amp; Utilities/Rene...</td>\n",
              "      <td>51%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>13</th>\n",
              "      <td>https://www.nacion321.com/</td>\n",
              "      <td>None</td>\n",
              "      <td>None</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>14</th>\n",
              "      <td>https://www.pasala.com.mx/</td>\n",
              "      <td>/News</td>\n",
              "      <td>92%</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>15</th>\n",
              "      <td>https://www.elfinanciero.com.mx/</td>\n",
              "      <td>/Business &amp; Industrial</td>\n",
              "      <td>65%</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "                                 website  ... confidence\n",
              "0                https://www.larazon.es/  ...        72%\n",
              "1                 https://www.bezzia.com  ...        74%\n",
              "2           https://www.ahorradoras.com/  ...        71%\n",
              "3                  https://pix-geeks.com  ...       None\n",
              "4         https://www.ciclismoafondo.es/  ...        99%\n",
              "5         https://www.revistaoxigeno.es/  ...        50%\n",
              "6            https://www.triatlonweb.es/  ...        89%\n",
              "7               https://www.trailrun.es/  ...        97%\n",
              "8        https://www.actualidadmotor.com  ...        99%\n",
              "9                 https://estudio-27.com  ...        52%\n",
              "10         https://www.etapainfantil.com  ...        98%\n",
              "11  https://www.mexicodesconocido.com.mx  ...        91%\n",
              "12            https://ingenieriareal.com  ...        51%\n",
              "13            https://www.nacion321.com/  ...       None\n",
              "14            https://www.pasala.com.mx/  ...        92%\n",
              "15      https://www.elfinanciero.com.mx/  ...        65%\n",
              "\n",
              "[16 rows x 3 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 9
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Bfcn19GLm63U"
      },
      "source": [
        "#@title Name file and path to save your results as a CSV file\n",
        "final_file = \"/content/gdrive/MyDrive/Colab Notebooks/Website Categorization/finalfile.xlsx\" #@param {type:\"string\"}\n"
      ],
      "execution_count": 10,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "uIHsHzhvN-Sp",
        "outputId": "563afed9-5ecc-447e-9767-2f7963bf3ea0"
      },
      "source": [
        "#Finally, with pandas we can also store as an Excel file the whole list, with the scraped content, translated content, assigned category and confidence score.\n",
        "df.to_excel(final_file, header=True, index=False)\n",
        "print(\"Export has been done successfully!\")"
      ],
      "execution_count": 12,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Export has been done successfully!\n"
          ],
          "name": "stdout"
        }
      ]
    }
  ]
}