Bielik_2_(4_bit)_simple_examples.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "V55IAMNhYrP9"
      },
      "source": [
        "<p align=\"center\">\n",
        "  <img src=\"https://huggingface.co/speakleash/Bielik-7B-Instruct-v0.1/raw/main/speakleash_cyfronet.png\">\n",
        "</p>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "dpi-lp87jeIu"
      },
      "source": [
        "### Przygotowanie środowiska"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "kAiJLr8y6a8U"
      },
      "source": [
        "W celu instalacji niezbędnych bibliotek z ograniczoną ilością zwracanych informacji, można:\n",
        "- zastosować flagę '-q' (quiet) dla przy każdej bibliotece, która sprawi, że wyświetli się mniej informacji\n",
        "- użyć komendy %%capture na początku komórki, która przechwytuje wyniki wykonywania kodu w danej komórce"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T06:45:51.804390Z",
          "iopub.status.busy": "2024-08-28T06:45:51.803606Z",
          "iopub.status.idle": "2024-08-28T06:45:59.331106Z",
          "shell.execute_reply": "2024-08-28T06:45:59.329914Z",
          "shell.execute_reply.started": "2024-08-28T06:45:51.804362Z"
        },
        "id": "07-4DrcSdEf8",
        "outputId": "b73727ad-3551-4f58-d66d-124454d89ee3"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Requirement already satisfied: accelerate in /usr/local/lib/python3.11/dist-packages (0.24.1)\n",
            "Requirement already satisfied: numpy>=1.17 in /usr/local/lib/python3.11/dist-packages (from accelerate) (1.26.3)\n",
            "Requirement already satisfied: packaging>=20.0 in /usr/local/lib/python3.11/dist-packages (from accelerate) (23.2)\n",
            "Requirement already satisfied: psutil in /usr/local/lib/python3.11/dist-packages (from accelerate) (5.9.8)\n",
            "Requirement already satisfied: pyyaml in /usr/lib/python3/dist-packages (from accelerate) (5.4.1)\n",
            "Requirement already satisfied: torch>=1.10.0 in /usr/local/lib/python3.11/dist-packages (from accelerate) (2.1.1+cu121)\n",
            "Requirement already satisfied: huggingface-hub in /usr/local/lib/python3.11/dist-packages (from accelerate) (0.20.3)\n",
            "Requirement already satisfied: filelock in /usr/local/lib/python3.11/dist-packages (from torch>=1.10.0->accelerate) (3.13.1)\n",
            "Requirement already satisfied: typing-extensions in /usr/local/lib/python3.11/dist-packages (from torch>=1.10.0->accelerate) (4.9.0)\n",
            "Requirement already satisfied: sympy in /usr/local/lib/python3.11/dist-packages (from torch>=1.10.0->accelerate) (1.12)\n",
            "Requirement already satisfied: networkx in /usr/local/lib/python3.11/dist-packages (from torch>=1.10.0->accelerate) (3.2.1)\n",
            "Requirement already satisfied: jinja2 in /usr/local/lib/python3.11/dist-packages (from torch>=1.10.0->accelerate) (3.1.3)\n",
            "Requirement already satisfied: fsspec in /usr/local/lib/python3.11/dist-packages (from torch>=1.10.0->accelerate) (2023.6.0)\n",
            "Requirement already satisfied: triton==2.1.0 in /usr/local/lib/python3.11/dist-packages (from torch>=1.10.0->accelerate) (2.1.0)\n",
            "Requirement already satisfied: requests in /usr/local/lib/python3.11/dist-packages (from huggingface-hub->accelerate) (2.31.0)\n",
            "Requirement already satisfied: tqdm>=4.42.1 in /usr/local/lib/python3.11/dist-packages (from huggingface-hub->accelerate) (4.66.1)\n",
            "Requirement already satisfied: MarkupSafe>=2.0 in /usr/local/lib/python3.11/dist-packages (from jinja2->torch>=1.10.0->accelerate) (2.1.4)\n",
            "Requirement already satisfied: charset-normalizer<4,>=2 in /usr/local/lib/python3.11/dist-packages (from requests->huggingface-hub->accelerate) (3.3.2)\n",
            "Requirement already satisfied: idna<4,>=2.5 in /usr/lib/python3/dist-packages (from requests->huggingface-hub->accelerate) (3.3)\n",
            "Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/local/lib/python3.11/dist-packages (from requests->huggingface-hub->accelerate) (2.0.7)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/lib/python3/dist-packages (from requests->huggingface-hub->accelerate) (2020.6.20)\n",
            "Requirement already satisfied: mpmath>=0.19 in /usr/local/lib/python3.11/dist-packages (from sympy->torch>=1.10.0->accelerate) (1.3.0)\n",
            "\u001b[33mWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv\u001b[0m\u001b[33m\n",
            "\u001b[0mLooking in indexes: https://pypi.org/simple/\n",
            "Requirement already satisfied: bitsandbytes in /usr/local/lib/python3.11/dist-packages (0.41.2)\n",
            "\u001b[33mWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv\u001b[0m\u001b[33m\n",
            "\u001b[0m"
          ]
        }
      ],
      "source": [
        "!pip install accelerate\n",
        "!pip install -i https://pypi.org/simple/ bitsandbytes"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "execution": {
          "iopub.execute_input": "2024-08-28T06:45:59.333921Z",
          "iopub.status.busy": "2024-08-28T06:45:59.333577Z",
          "iopub.status.idle": "2024-08-28T06:46:01.067420Z",
          "shell.execute_reply": "2024-08-28T06:46:01.066592Z",
          "shell.execute_reply.started": "2024-08-28T06:45:59.333885Z"
        },
        "id": "2iD0O366dg0K"
      },
      "outputs": [],
      "source": [
        "import torch"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "execution": {
          "iopub.execute_input": "2024-08-28T06:46:01.068650Z",
          "iopub.status.busy": "2024-08-28T06:46:01.068356Z",
          "iopub.status.idle": "2024-08-28T06:46:01.072657Z",
          "shell.execute_reply": "2024-08-28T06:46:01.071834Z",
          "shell.execute_reply.started": "2024-08-28T06:46:01.068626Z"
        },
        "id": "YfVY6E7ge6bT"
      },
      "outputs": [],
      "source": [
        "import warnings\n",
        "warnings.filterwarnings(\"ignore\") # tylko na potrzeby naszego demo ;)"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Gated models\n",
        "W przypadku modeli, na które zostały nałożone zabezpieczenia w postaci kontrolowanego dostępu (gated models), wymagane będzie podanie tokena użytkownika, dostępnego na portalu HuggingFace: <br>\n",
        "- informacje dotyczące tokenów: <br>\n",
        "https://huggingface.co/docs/hub/security-tokens <br>\n",
        "- token użytkownika <br>\n",
        "https://huggingface.co/settings/tokens\n",
        "\n",
        "W tym celu należy zainstalować bibliotekę \"huggingface_hub[cli]\" oraz dokonać logowania za pomocą tokena, co zostało zaprezentowane w poniższych 2 komórkach."
      ],
      "metadata": {
        "id": "bf6BcNiX9CY-"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install -U \"huggingface_hub[cli]\""
      ],
      "metadata": {
        "id": "dDqwoXOYBs62"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "!huggingface-cli login"
      ],
      "metadata": {
        "id": "kjxq15p39wys"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "MqfY6a1qgvYi"
      },
      "source": [
        "### Inicjalizacja modelu (4 bit)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 66,
          "referenced_widgets": [
            "99b5ea60f942452a9493155a35933dfe",
            "9dfa485bd8a34dc2bfc9825989fda2ac",
            "9739047ea88241a9b19b865bcb4c8ec0",
            "90e369ef225d494eaac7abebc1e529d4",
            "4f32de3c9eb74d0eac6d8f6b60cfe824",
            "ea6d9361c0c04d57a222491d08c5060e",
            "787eba0e024a40b5a8041ae32dff8c48",
            "7bf84a9126e848a1bf457433ab1c6d28",
            "08730d78df05455fa379d79b45d1ee7f",
            "283fc310ceb7485ca815797b6d9b41b0",
            "358ce4c021154f1ca4f2c71f9a031280",
            "f76b6562ea254fa39e137474f210d3a5",
            "ef6717e880ff4edcae6121916fa8e7a9",
            "197b382c33fc47d0818858c3968a6e6c",
            "849d7a1db2c5459baf2a4c321603905c",
            "21bf1a2bd78448e8975867f7b3c4d12e",
            "9cc8921c08614862933f23052f27957c",
            "972d5a331cb740be98a620506256771c",
            "7304a02466b940ec8321b2c706da6191",
            "3fa61f30b6b046578b5bc0df98b66a56",
            "40ea399d0173480ab2da837d5befed02",
            "edd92eedd0144327a26b3ba82e636ded",
            "8a3fea41a93f4c61aae203c312cc86d6",
            "b8f34848f69a4caaa1127fa82f0ea01d",
            "74fbddd1ebc349c5a1e3565673279988",
            "d0e6f7e754204b1c8b7a204d8f1662d5"
          ]
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T06:51:02.877730Z",
          "iopub.status.busy": "2024-08-28T06:51:02.877002Z",
          "iopub.status.idle": "2024-08-28T06:53:45.955873Z",
          "shell.execute_reply": "2024-08-28T06:53:45.954959Z",
          "shell.execute_reply.started": "2024-08-28T06:51:02.877683Z"
        },
        "id": "vfWiekAIt0DR",
        "outputId": "1f86f4a9-8c27-4d39-d6af-2855be3f5af9"
      },
      "outputs": [
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "f76b6562ea254fa39e137474f210d3a5",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "tokenizer_config.json:   0%|          | 0.00/27.2k [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "ef6717e880ff4edcae6121916fa8e7a9",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "tokenizer.model:   0%|          | 0.00/493k [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "197b382c33fc47d0818858c3968a6e6c",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "tokenizer.json:   0%|          | 0.00/1.82M [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "849d7a1db2c5459baf2a4c321603905c",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "added_tokens.json:   0%|          | 0.00/3.49k [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "21bf1a2bd78448e8975867f7b3c4d12e",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "special_tokens_map.json:   0%|          | 0.00/3.44k [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.\n"
          ]
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "9cc8921c08614862933f23052f27957c",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "config.json:   0%|          | 0.00/598 [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "972d5a331cb740be98a620506256771c",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "model.safetensors.index.json:   0%|          | 0.00/37.3k [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "7304a02466b940ec8321b2c706da6191",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "Downloading shards:   0%|          | 0/5 [00:00<?, ?it/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "3fa61f30b6b046578b5bc0df98b66a56",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "model-00001-of-00005.safetensors:   0%|          | 0.00/4.94G [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "40ea399d0173480ab2da837d5befed02",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "model-00002-of-00005.safetensors:   0%|          | 0.00/5.00G [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "edd92eedd0144327a26b3ba82e636ded",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "model-00003-of-00005.safetensors:   0%|          | 0.00/4.92G [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "8a3fea41a93f4c61aae203c312cc86d6",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "model-00004-of-00005.safetensors:   0%|          | 0.00/4.92G [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "b8f34848f69a4caaa1127fa82f0ea01d",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "model-00005-of-00005.safetensors:   0%|          | 0.00/2.56G [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "74fbddd1ebc349c5a1e3565673279988",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "Loading checkpoint shards:   0%|          | 0/5 [00:00<?, ?it/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "d0e6f7e754204b1c8b7a204d8f1662d5",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "generation_config.json:   0%|          | 0.00/151 [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        }
      ],
      "source": [
        "from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, TextStreamer\n",
        "\n",
        "device = \"cuda\" if torch.cuda.is_available() else \"cpu\"\n",
        "model_name = 'speakleash/Bielik-11B-v2.2-Instruct'\n",
        "load_4_bit = True\n",
        "\n",
        "tokenizer = AutoTokenizer.from_pretrained(model_name)\n",
        "tokenizer.pad_token = tokenizer.eos_token\n",
        "\n",
        "streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)\n",
        "\n",
        "quantization_config = None\n",
        "\n",
        "if load_4_bit:\n",
        "    quantization_config = BitsAndBytesConfig(\n",
        "            load_in_4bit=True,\n",
        "            bnb_4bit_compute_dtype=torch.bfloat16\n",
        "    )\n",
        "\n",
        "model = AutoModelForCausalLM.from_pretrained(model_name,\n",
        "                                             torch_dtype=torch.bfloat16,\n",
        "                                             quantization_config=quantization_config\n",
        "                                             )"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "DMT64Pa06HR1"
      },
      "source": [
        "### Funkcja pomocnicza do generowania odpowiedzi"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "execution": {
          "iopub.execute_input": "2024-08-28T06:54:05.192085Z",
          "iopub.status.busy": "2024-08-28T06:54:05.191782Z",
          "iopub.status.idle": "2024-08-28T06:54:05.195568Z",
          "shell.execute_reply": "2024-08-28T06:54:05.194664Z",
          "shell.execute_reply.started": "2024-08-28T06:54:05.192060Z"
        },
        "id": "LSGf1ciaLyde"
      },
      "outputs": [],
      "source": [
        "import uuid\n",
        "import json"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "execution": {
          "iopub.execute_input": "2024-08-28T07:02:31.201348Z",
          "iopub.status.busy": "2024-08-28T07:02:31.199719Z",
          "iopub.status.idle": "2024-08-28T07:02:31.211583Z",
          "shell.execute_reply": "2024-08-28T07:02:31.210154Z",
          "shell.execute_reply.started": "2024-08-28T07:02:31.201268Z"
        },
        "id": "8fyc3sKm4n3J"
      },
      "outputs": [],
      "source": [
        "temperature = 0.7\n",
        "max_tokens = 256\n",
        "top_k = 100\n",
        "top_p = 1\n",
        "\n",
        "\n",
        "def generate(prompt, system=None):\n",
        "    messages = []\n",
        "\n",
        "    if system:\n",
        "        messages.append({\"role\": \"system\", \"content\": system})\n",
        "\n",
        "    messages.append({\"role\": \"user\", \"content\": prompt})\n",
        "\n",
        "    input_ids = tokenizer.apply_chat_template(messages, return_tensors=\"pt\")\n",
        "    model_inputs = input_ids\n",
        "\n",
        "    # Sprawdzenie dostępności CUDA i przeniesienie danych wejściowych na odpowiednie urządzenie (GPU lub CPU)\n",
        "    if torch.cuda.is_available():\n",
        "        model_inputs = input_ids.to(device)\n",
        "\n",
        "    # generowanie odpowiedzi\n",
        "    outputs = model.generate(model_inputs,\n",
        "                             streamer=streamer,\n",
        "                             max_new_tokens=max_tokens,\n",
        "                             do_sample=True if temperature else False,\n",
        "                             temperature=temperature,\n",
        "                             top_k=top_k,\n",
        "                             top_p=top_p)\n",
        "\n",
        "    # zapis do pliku\n",
        "    filename = f\"output{str(uuid.uuid4())[:8]}.txt\"\n",
        "\n",
        "    with open(filename, \"w\", encoding=\"utf-8\") as file:\n",
        "        content = {\n",
        "                \"prompt\": messages,\n",
        "                \"output\": tokenizer.batch_decode(outputs, skip_special_tokens=False)\n",
        "        }\n",
        "        json.dump(content, file, ensure_ascii=False, indent=4)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "bnY_3s0u4My5"
      },
      "source": [
        "#### Test"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T07:02:36.653195Z",
          "iopub.status.busy": "2024-08-28T07:02:36.652747Z",
          "iopub.status.idle": "2024-08-28T07:02:41.469579Z",
          "shell.execute_reply": "2024-08-28T07:02:41.468522Z",
          "shell.execute_reply.started": "2024-08-28T07:02:36.653171Z"
        },
        "id": "oOKfgKJU0R_J",
        "outputId": "e020948f-0fed-4c9f-9621-4015c56e5669"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:32001 for open-end generation.\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            ":) Jestem tutaj, żeby Ci pomóc. W czym mogę Ci dzisiaj pomóc?\n"
          ]
        }
      ],
      "source": [
        "generate(\"Hej, jesteś tam?\")"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T07:02:45.050137Z",
          "iopub.status.busy": "2024-08-28T07:02:45.049795Z",
          "iopub.status.idle": "2024-08-28T07:03:17.821781Z",
          "shell.execute_reply": "2024-08-28T07:03:17.820802Z",
          "shell.execute_reply.started": "2024-08-28T07:02:45.050097Z"
        },
        "id": "GcQHXFZYzSRf",
        "outputId": "171590bf-f851-429f-ab9e-a4ce6a531899"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:32001 for open-end generation.\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "\n",
            "Jestem programistą baz danych i zajmuję się głównie tworzeniem i utrzymywaniem relacyjnych baz danych SQL oraz NoSQL. Dodatkowo poszerzam swoją wiedzę w dziedzinie sztucznej inteligencji i uczę się o modelach uczenia maszynowego.\n",
            "\n",
            "Moja praca obejmuje m.in.:\n",
            "- Projektowanie i implementację schematów baz danych\n",
            "- Pisanie zapytań SQL i NoSQL\n",
            "- Optymalizację wydajności baz danych\n",
            "- Tworzenie i utrzymywanie kopii zapasowych i archiwów danych\n",
            "\n",
            "Aktualnie dużo czasu poświęcam na naukę:\n",
            "- Algorytmów uczenia maszynowego\n",
            "- Głębokiego uczenia\n",
            "- Przetwarzana języka naturalnego (NLP)\n",
            "- Przetwarzania obrazów i wideo\n",
            "\n",
            "Ponadto interesuję\n"
          ]
        }
      ],
      "source": [
        "generate(\"Hej, czym się zajmujesz?\", system = \"Jesteś programistą baz danych, który chce rozwijać swoje kompetencje w obszarze AI.\")"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "igmwz-HEyeMj"
      },
      "source": [
        "# Przykład 1\n",
        "\n",
        "Po prostu **\"Hello World\"**, a bardziej **\"Witaj świecie!\"**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T07:03:35.370814Z",
          "iopub.status.busy": "2024-08-28T07:03:35.370094Z",
          "iopub.status.idle": "2024-08-28T07:04:06.088384Z",
          "shell.execute_reply": "2024-08-28T07:04:06.087773Z",
          "shell.execute_reply.started": "2024-08-28T07:03:35.370733Z"
        },
        "id": "KpvjcGVFpxu4",
        "outputId": "945a6198-4cbf-4ac7-955f-181fafa72fc8"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:32001 for open-end generation.\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "\n",
            "Oto klasyczna formuła powitania z wykorzystaniem frazy \"Witaj świecie!\".\n",
            "\n",
            "Czy chciałbyś, żebym wyjaśnił, co oznacza ta fraza?\n",
            "\n",
            "### Wyjaśnienie:\n",
            "\n",
            "Fraza \"Witaj świecie!\" to popularne powitanie używane w kontekście programowania, szczególnie w językach takich jak C, C++, Python czy Java. Gdy rozpoczynasz pracę z nowym programem lub plikiem z kodem, ten krótki, ale znaczący napis \"Witaj świecie!\" przywołuje uśmiech na twarz i przypomina, że program został pomyślnie uruchomiony.\n",
            "\n",
            "Kiedy pracując nad programem widzisz na ekranie swój ukochany napis \"Witaj świecie!\", to zazwyczaj znaczy, że Twoja praca posuwa się do przod\n"
          ]
        }
      ],
      "source": [
        "temperature = 1.0\n",
        "max_tokens = 256\n",
        "\n",
        "prompt = \"Witaj świecie!\"\n",
        "generate(prompt)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ctgLpx6NzCEQ"
      },
      "source": [
        "# Przykład 2\n",
        "\n",
        "Zadawanie pytań otwartych"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "execution": {
          "iopub.execute_input": "2024-08-28T07:04:06.089821Z",
          "iopub.status.busy": "2024-08-28T07:04:06.089599Z",
          "iopub.status.idle": "2024-08-28T07:04:06.095172Z",
          "shell.execute_reply": "2024-08-28T07:04:06.093439Z",
          "shell.execute_reply.started": "2024-08-28T07:04:06.089799Z"
        },
        "id": "QI_BQbT7zO_W"
      },
      "outputs": [],
      "source": [
        "temperature = 0.1\n",
        "max_tokens = 512\n",
        "\n",
        "prompt = \"Co to jest fotosynteza?\""
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T07:04:06.096493Z",
          "iopub.status.busy": "2024-08-28T07:04:06.096249Z",
          "iopub.status.idle": "2024-08-28T07:05:08.786678Z",
          "shell.execute_reply": "2024-08-28T07:05:08.785982Z",
          "shell.execute_reply.started": "2024-08-28T07:04:06.096472Z"
        },
        "id": "L5nbU9f06FOl",
        "outputId": "55822e6e-de03-49c0-f107-d713e50d5b48"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:32001 for open-end generation.\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "\n",
            "Fotosynteza to proces, w którym rośliny, algi i niektóre bakterie przekształcają energię świetlną w energię chemiczną, magazynując ją w postaci związków organicznych, głównie glukozy. Proces ten zachodzi w chloroplastach, a dokładniej w tylakoidach chloroplastów, gdzie znajduje się zielony barwnik – chlorofil.\n",
            "\n",
            "Fotosynteza składa się z dwóch głównych etapów:\n",
            "\n",
            "1. Faza jasna (reakcje świetlne):\n",
            "  - Zachodzi w błonach tylakoidów.\n",
            "  - Energia świetlna jest pochłaniana przez chlorofil i inne barwniki.\n",
            "  - Energia ta jest wykorzystywana do rozszczepienia cząsteczek wody (H₂O) na tlen (O₂), protony (H⁺) i elektrony (e⁻).\n",
            "  - Tlen jest uwalniany do atmosfery jako produkt uboczny.\n",
            "  - Elektrony i protony są transportowane przez łańcuch transportu elektronów, co prowadzi do wytworzenia ATP i NADPH.\n",
            "\n",
            "2. Faza ciemna (cykl Calvina, reakcje niezależne od światła):\n",
            "  - Zachodzi w stromie chloroplastów.\n",
            "  - ATP i NADPH wytworzone w fazie jasnej są wykorzystywane do przekształcenia dwutlenku węgla (CO₂) w glukozę (C₆H₁₂O₆).\n",
            "  - Proces ten obejmuje kilka etapów, w tym karboksylację, redukcję i regenerację.\n",
            "\n",
            "Równanie ogólne fotosyntezy:\n",
            "6 CO₂ + 6 H₂O + energia świet\n"
          ]
        }
      ],
      "source": [
        "generate(prompt)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "GIE2Tl-c6YRm"
      },
      "source": [
        "# Przykład 3\n",
        "\n",
        "Praca na tekście"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "execution": {
          "iopub.execute_input": "2024-08-28T07:05:08.789011Z",
          "iopub.status.busy": "2024-08-28T07:05:08.788457Z",
          "iopub.status.idle": "2024-08-28T07:05:08.793166Z",
          "shell.execute_reply": "2024-08-28T07:05:08.792365Z",
          "shell.execute_reply.started": "2024-08-28T07:05:08.788987Z"
        },
        "id": "MPBNIITq_Ug8"
      },
      "outputs": [],
      "source": [
        "temperature = 0.1\n",
        "max_tokens = 512"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T07:05:08.794880Z",
          "iopub.status.busy": "2024-08-28T07:05:08.794442Z",
          "iopub.status.idle": "2024-08-28T07:05:58.243140Z",
          "shell.execute_reply": "2024-08-28T07:05:58.242441Z",
          "shell.execute_reply.started": "2024-08-28T07:05:08.794857Z"
        },
        "id": "qqBb_Eio6lhi",
        "outputId": "8fc1f252-b7c3-4db1-e0df-353ec5756405"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:32001 for open-end generation.\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "\n",
            "###ANALIZA:\n",
            "\n",
            "Ta opinia wydaje się być negatywnna. Oto szczegółowe wyjaśnienie:\n",
            "\n",
            "1. Kontekst: Opinia ta prawdopodobnie odnosi się do wysokich odsetek, które są postrzegane jako niekorzystne lub zbyt wysokie.\n",
            "\n",
            "2. Ton: Użycie słów \"tylko chleb i margaryna\" sugeruje, że oferta jest uboga lub niezadowalająca. Chleb i margaryna to produkty podstawowe, które nie są uważane za luksusowe ani wyrafinowane.\n",
            "\n",
            "3. Porównanie: Porównanie do chleba i margaryny może być interpretowane jako krytyka, ponieważ sugeruje, że oferta jest minimalistyczna i nie spełnia oczekiwań.\n",
            "\n",
            "4. Kontekst ekonomiczny: W kontekście finansowym, wysokie odsetki mogą być postrzegane jako kosztowne i niekorzystne dla konsumentów.\n",
            "\n",
            "5. Emocjonalny wydźwięk: Użycie takiego porównania może wywoływać negatywne emocje, takie jak frustracja czy niezadowolenie.\n",
            "\n",
            "Podsumowując, opinia ta jest negatywna, ponieważ krytykuje wysokie odsetki i porównuje je do czegoś podstawowego i niezadowalającego, co sugeruje, że oferta nie spełnia oczekiwań.\n"
          ]
        }
      ],
      "source": [
        "review = \"Przy waszych odsetkach to tylko chleb i margaryna!\"\n",
        "prompt = f\"Czy podana opinia jest pozytywna czy negatywna i wyjaśnij to obszernie.\\n\\n###OPINIA:\\n{review}\"\n",
        "\n",
        "generate(prompt)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T07:05:58.244350Z",
          "iopub.status.busy": "2024-08-28T07:05:58.244125Z",
          "iopub.status.idle": "2024-08-28T07:07:02.895776Z",
          "shell.execute_reply": "2024-08-28T07:07:02.894769Z",
          "shell.execute_reply.started": "2024-08-28T07:05:58.244328Z"
        },
        "id": "BugZibbv8A0V",
        "outputId": "c12e97bd-7bf8-40ae-8fd9-dbc148568bae"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:32001 for open-end generation.\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "\n",
            "To zdanie jest metaforą, która może oznaczać, że oferta banku jest bardzo ograniczona lub nieatrakcyjna. W kontekście bankowym, \"chleb i margaryna\" może symbolizować podstawowe, nisko oprocentowane produkty, które nie są zbyt korzystne dla klientów.\n",
            "\n",
            "Aby lepiej zrozumieć tę metaforę, warto rozważyć kilka możliwych interpretacji:\n",
            "\n",
            "1. Ograniczona oferta: Bank oferuje tylko podstawowe produkty, bez możliwości wyboru bardziej atrakcyjnych opcji.\n",
            "\n",
            "2. Niskie oprocentowanie: Produkty bankowe mają niskie stopy procentowe, co nie jest satysfakcjonujące dla klientów.\n",
            "\n",
            "3. Brak innowacji: Bank nie wprowadza nowych, ciekawych produktów, które mogłyby przyciągnąć klientów.\n",
            "\n",
            "4. Niska jakość usług: Klienci mogą czuć, że usługi bankowe są podstawowe i nie spełniają ich oczekiwań.\n",
            "\n",
            "5. Niska rentowność: Inwestycje w banku nie przynoszą oczekiwanych zysków.\n",
            "\n",
            "Aby lepiej zrozumieć, co dokładnie krytykuje klient, warto zadać pytania:\n",
            "\n",
            "- Czy chodzi o ograniczoną gamę produktów?\n",
            "- Czy klienci oczekują wyższych oprocentowań?\n",
            "- Czy brakuje innowacyjnych rozwiązań?\n",
            "- Czy usługi bankowe są postrzegane jako niskiej jakości?\n",
            "- Czy rentowność inwestycji jest niezadowalająca?\n",
            "\n",
            "Rozmowa z klientami i analiza ich opinii może pomóc w zidentyfikowaniu konkretnych obszarów\n"
          ]
        }
      ],
      "source": [
        "system = \"Pracujesz jako specjalista od zarządzania jakością w banku i badasz doświadczenia klientów. Analizujesz opinie, wskazujesz pozytywne aspekty, na które zwrócili uwagę klienci oraz obszary do poprawy. Odpowiadasz w języku polskim.\"\n",
        "\n",
        "generate(review, system)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T07:07:02.897205Z",
          "iopub.status.busy": "2024-08-28T07:07:02.896915Z",
          "iopub.status.idle": "2024-08-28T07:08:07.188819Z",
          "shell.execute_reply": "2024-08-28T07:08:07.187648Z",
          "shell.execute_reply.started": "2024-08-28T07:07:02.897177Z"
        },
        "id": "CK9bYzwy_ZsU",
        "outputId": "a2934484-d3bf-4f54-da99-56f37e8d9544"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:32001 for open-end generation.\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "\n",
            "###ANALIZA:\n",
            "\n",
            "####Aspekty pozytywne:\n",
            "1. **Działanie aplikacji**: Użytkownik wskazuje, że aplikacja działała świetnie, co sugeruje, że funkcjonalność i interfejs były dobrze oceniane.\n",
            "2. **Język angielski**: Wzmianka o tym, że aplikacja jest już w języku angielskim, wskazuje na to, że jest ona dostępna dla szerszego grona odbiorców.\n",
            "\n",
            "####Aspekty wymagające poprawy:\n",
            "1. **Stabilność aplikacji**: Użytkownik zgłasza, że od tygodnia aplikacja się zawiesza, co wskazuje na problemy z jej stabilnością i niezawodnością.\n",
            "2. **Logowanie**: Trudności z logowaniem się do aplikacji są poważnym problemem, ponieważ uniemożliwiają korzystanie z jej funkcji.\n",
            "3. **Płatności**: Użytkownik korzysta tylko z jednej metody płatności (BLIK) i akceptuje płatności, co może wskazywać na ograniczenia w zakresie obsługiwanych metod płatności.\n",
            "\n",
            "###Podsumowanie:\n",
            "Opinia jest mieszana, zawierająca zarówno pozytywne, jak i negatywne aspekty. Pozytywne elementy dotyczą dobrego działania aplikacji oraz dostępności w języku angielskim, natomiast negatywne wskazują na problemy z stabilnością, logowaniem i ograniczoną funkcjonalnością płatności. Aby poprawić tę opinię, konieczne jest rozwiązanie problemów technicznych oraz rozszerzenie funkcjonalności aplikacji.\n"
          ]
        }
      ],
      "source": [
        "temperature = 0.2\n",
        "\n",
        "review = \"\"\"Aplikacja działała świetnie i jest już w języku angielskim...​\n",
        "Jednak od tygodnia zawiesza się, nie można się zalogować, używam tylko blika i akceptuję płatności...​\n",
        "Kiedy to zostanie rozwiązane?\"\"\"\n",
        "\n",
        "prompt = f\"Czy podana opinia jest pozytywna czy negatywna? Uzasadnij odpowiedź, wymień w punktach aspekty pozytywne oraz wymagające poprawy. \\n\\n###OPINIA:\\n{review}\"\n",
        "\n",
        "generate(prompt)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "k5Q8N5e9CfgO"
      },
      "source": [
        "# Przykład 4\n",
        "Praca z dokumentami"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "execution": {
          "iopub.execute_input": "2024-08-28T07:08:07.190978Z",
          "iopub.status.busy": "2024-08-28T07:08:07.190039Z",
          "iopub.status.idle": "2024-08-28T07:08:07.275628Z",
          "shell.execute_reply": "2024-08-28T07:08:07.274620Z",
          "shell.execute_reply.started": "2024-08-28T07:08:07.190939Z"
        },
        "id": "E91KX_t2_tWt"
      },
      "outputs": [],
      "source": [
        "import requests\n",
        "from bs4 import BeautifulSoup\n",
        "\n",
        "\n",
        "def get_page_content(url='https://hiperautomatyzacja.pl'):\n",
        "    response = requests.get(url)\n",
        "    html_content = response.text\n",
        "    soup = BeautifulSoup(html_content, 'html.parser')\n",
        "    plain_text = soup.get_text()\n",
        "    clean_text = plain_text\n",
        "    return clean_text"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T07:08:07.276590Z",
          "iopub.status.busy": "2024-08-28T07:08:07.276378Z",
          "iopub.status.idle": "2024-08-28T07:08:56.586724Z",
          "shell.execute_reply": "2024-08-28T07:08:56.585500Z",
          "shell.execute_reply.started": "2024-08-28T07:08:07.276567Z"
        },
        "id": "BeceSbT0Bvxb",
        "outputId": "f6090296-66c8-4811-bad2-4a14e284d1df"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:32001 for open-end generation.\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "\n",
            "Streszczenie:\n",
            "\n",
            "Konferencja \"HiperAutomatyzacja 8\" to największe w Polsce wydarzenie poświęcone wdrażaniu rozwiązań RPA, LowCode, NoCode, Chatboty, Voiceboty, MLOps i Process Mining w połączeniu z AI. Odbywa się w dniach 10-11 czerwca 2024 roku w Warszawie (rozgrzewka merytoryczna) i online. Uczestnicy będą mieli możliwość zobaczenia 18 case studies z Polski. Konferencja jest bezpłatna i skierowana do osób zainteresowanych automatyzacją i AI w średnich i dużych firmach. Organizatorzy zapewniają dostęp do nagrań z konferencji oraz nie udostępniają maili uczestników. Konferencja jest częścią przedsięwzięcia budowy polskiej społeczności hiperautomatyzacji i AI - Liderzy.AI.\n"
          ]
        }
      ],
      "source": [
        "temperature = 0.1\n",
        "max_tokens = 512\n",
        "\n",
        "system = \"Dokonaj streszczenia podanego tekstu strony internetowej. Pisz w języku polskim.\"\n",
        "prompt = get_page_content(\"https://hiperautomatyzacja.pl\")\n",
        "\n",
        "generate(prompt, system=system)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T07:08:56.590345Z",
          "iopub.status.busy": "2024-08-28T07:08:56.589827Z",
          "iopub.status.idle": "2024-08-28T07:09:57.141989Z",
          "shell.execute_reply": "2024-08-28T07:09:57.141063Z",
          "shell.execute_reply.started": "2024-08-28T07:08:56.590303Z"
        },
        "id": "DhAEVf16C4jh",
        "outputId": "2e10e154-65c5-4590-c208-1075aa52081c"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:32001 for open-end generation.\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "\n",
            "Streszczenie:\n",
            "\n",
            "Program konferencji \"HiperAutomatyzacja.pl\" zawiera szereg prezentacji i paneli dyskusyjnych dotyczących różnych aspektów automatyzacji procesów biznesowych, w tym zastosowania sztucznej inteligencji (AI) i robotyzacji procesów (RPA). Tematyka obejmuje m.in. hiperautomatyzację w logistyce, prototypowanie automatyzacji z wykorzystaniem GenAI, platformy automatyzujące w skali Enterprise, symbiozę RPA i AI, a także podejście do wdrożenia governance nad dużymi modelami językowymi i AI w Power Platform.\n",
            "\n",
            "W programie znajdują się również sesje dotyczące efektywnego wdrażania rozwiązań RAG w środowiskach korporacyjnych oraz omówienie wersji 2.0 dokumentu Dobrych Praktyk Robotyzacji Procesów wydanego przez Związek Banków Polskich. Na koniec, uczestnicy będą mogli wziąć udział w dyskusji na temat budowy czatbota z wykorzystaniem otwartego polskiego modelu językowego.\n",
            "\n",
            "Konferencja składa się z dwóch strumieni: menadżerskiego i wdrożeniowego, co pozwala na dostosowanie treści do różnych grup odbiorców.\n"
          ]
        }
      ],
      "source": [
        "prompt = get_page_content(\"https://hiperautomatyzacja.pl/program?s=7\")\n",
        "generate(prompt, system=system)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T07:09:57.143432Z",
          "iopub.status.busy": "2024-08-28T07:09:57.143206Z",
          "iopub.status.idle": "2024-08-28T07:11:10.434080Z",
          "shell.execute_reply": "2024-08-28T07:11:10.433342Z",
          "shell.execute_reply.started": "2024-08-28T07:09:57.143410Z"
        },
        "id": "Tokv2n6zDmMk",
        "outputId": "c38ca054-588a-46fb-9d82-ca33b1f363e9"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:32001 for open-end generation.\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "\n",
            "Warsztaty dotyczące AI oraz prowadzący z imienia i nazwiska:\n",
            "\n",
            "1. Zbigniew Kępiński - Hiperautomatyzacja w logistyce\n",
            "2. Tomasz Gawron - Prototypowanie automatyzacji procesów z wykorzystaniem GenAI\n",
            "3. Maciej Zyzak - Platformy Automatyzujące w skali Enterprise\n",
            "4. Maciej Rudziński - Symbioza gatunków - RPA i AI w PZU\n",
            "5. Adam Rataj - RPA i AI dwa bratanki\n",
            "6. Tomasz Łopuchowicz - Podejście do wdrożenia governance nad dużymi modelami językowymi (LLM) i sztuczną inteligencją w Power Platform\n",
            "7. Krzysztof Karaszewski - Czy agenci AI zastąpią RPA? - Przegląd technologii i narzędzi AI do automatyzacji\n",
            "8. Paweł Bulowski - Efektywne wdrażanie rozwiązań RAG w środowiskach korporacyjnych\n",
            "9. Radosław Repczyński - Wersja 2.0 dokumentu Dobrych Praktyk Robotyzacji Procesów wydanego przez Związek Banków Polskich\n",
            "10. Jan Maria Kowalski - Bielik w praktyce, czyli jak zbudować czatbota korzystając z otwartego polskiego modelu językowego\n",
            "11. Sebastian Kondracki - Bielik w praktyce, czyli jak zbudować czatbota korzystając z otwartego polskiego modelu językowego\n",
            "\n",
            "Warto zauważyć, że w niektórych przypadkach warsztaty prowadzone są przez więcej niż jednego eksperta, jak w przypadku warsztatu \"Bielik w praktyce, czyli jak zbudować czatbota korzystając z otwartego polskiego modelu\n"
          ]
        }
      ],
      "source": [
        "system = \"Wymień warsztaty dotyczące AI oraz prowadzących z imienia, nazwiska z poniższego tekstu strony internetowej.\"\n",
        "prompt = system + \"\\n\\nTEKST:\" + get_page_content(\"https://hiperautomatyzacja.pl/program?s=7\")\n",
        "generate(prompt)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T07:11:10.435792Z",
          "iopub.status.busy": "2024-08-28T07:11:10.434915Z",
          "iopub.status.idle": "2024-08-28T07:12:25.324854Z",
          "shell.execute_reply": "2024-08-28T07:12:25.324178Z",
          "shell.execute_reply.started": "2024-08-28T07:11:10.435768Z"
        },
        "id": "qO7Q2ouGD1_i",
        "outputId": "9d03f930-7134-4585-89c8-afd680c67e90"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:32001 for open-end generation.\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "\n",
            "Oto wymagany format JSON:\n",
            "\n",
            "```json\n",
            "[\n",
            " {\n",
            "   \"trener\": \"Zbigniew Kępiński\",\n",
            "   \"temat\": \"Hiperautomatyzacja w logistyce\",\n",
            "   \"godzina\": \"09:10-10:10\"\n",
            " },\n",
            " {\n",
            "   \"trener\": \"Tomasz Gawron\",\n",
            "   \"temat\": \"Prototypowanie automatyzacji procesów z wykorzystaniem GenAI\",\n",
            "   \"godzina\": \"10:10-10:50\"\n",
            " },\n",
            " {\n",
            "   \"trener\": \"Maciej Zyzak\",\n",
            "   \"temat\": \"Platformy Automatyzujące w skali Enterprise\",\n",
            "   \"godzina\": \"10:50-11:30\"\n",
            " },\n",
            " {\n",
            "   \"trener\": \"Maciej Rudziński\",\n",
            "   \"temat\": \"Symbioza gatunków - RPA i AI w PZU\",\n",
            "   \"godzina\": \"11:30-12:10\"\n",
            " },\n",
            " {\n",
            "   \"trener\": \"Adam Rataj\",\n",
            "   \"temat\": \"RPA i AI dwa bratanki\",\n",
            "   \"godzina\": \"12:10-12:50\"\n",
            " },\n",
            " {\n",
            "   \"trener\": \"Tomasz Łopuchowicz, Artur Szylkin\",\n",
            "   \"temat\": \"Podejście do wdrożenia governance nad dużymi modelami językowymi (LLM) i sztuczną inteligencją w Power Platform\",\n",
            "   \"godzina\": \"12:50-13:30\"\n",
            " },\n",
            " {\n",
            "   \"trener\": \"Krzysztof Karaszewski\",\n",
            "   \"temat\": \"Czy agenci AI zastąpią RPA? - Przegląd technologii i narzędzi AI do automatyzacji\",\n",
            "   \"godzina\": \"13:30-14:10\"\n"
          ]
        }
      ],
      "source": [
        "system = \"\"\"Wymień warsztaty dotyczące AI z poniższego tekstu strony internetowej. Zwróć w postaci JSON według szablonu\n",
        "[\n",
        "  {\n",
        "    'trener':...,\n",
        "    'temat':...,\n",
        "    'godzina': ...\n",
        "    }\n",
        "    ,\n",
        "] \"\"\"\n",
        "\n",
        "prompt = system + \"\\n\\nTEKST:\" + get_page_content(\"https://hiperautomatyzacja.pl/program?s=7\")\n",
        "generate(prompt)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "execution": {
          "iopub.execute_input": "2024-08-28T07:12:25.326546Z",
          "iopub.status.busy": "2024-08-28T07:12:25.325777Z",
          "iopub.status.idle": "2024-08-28T07:14:58.815919Z",
          "shell.execute_reply": "2024-08-28T07:14:58.815163Z",
          "shell.execute_reply.started": "2024-08-28T07:12:25.326522Z"
        },
        "id": "dIl3iV20GHjg",
        "outputId": "adf9cca8-b76e-4f56-f54a-a884967ab29e"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:32001 for open-end generation.\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "\n",
            "Przepraszam, ale nie widzę żadnego tekstu, który mógłby być oceniony. Aby dokonać oceny kandydata, potrzebowałbym informacji takich jak:\n",
            "\n",
            "1. Doświadczenie zawodowe\n",
            "2. Wykształcenie\n",
            "3. Umiejętności techniczne\n",
            "4. Doświadczenie w zarządzaniu projektami AI\n",
            "5. Znajomość branży finansowej\n",
            "6. Umiejętności miękkie\n",
            "7. Osiągnięcia i sukcesy\n",
            "\n",
            "Na podstawie podanych informacji, mogę wymienić mocne strony kandydata:\n",
            "\n",
            "1. **Doświadczenie w zarządzaniu projektami**: Kandydat ma ponad 20 lat doświadczenia w analizie biznesowo-systemowej, architekturze korporacyjnej i IT. Pracował w wielu różnych firmach, co świadczy o jego zdolnościach adaptacyjnych i umiejętności zarządzania projektami w różnych środowiskach.\n",
            "\n",
            "2. **Umiejętności techniczne**: Kandydat ma szeroką wiedzę na temat architektury korporacyjnej, robotyzacji procesów biznesowych (RPA), LowCode i NoCode, oraz sztucznej inteligencji (AI). Jest autorem książek na te tematy, co wskazuje na głęboką wiedzę teoretyczną i praktyczną.\n",
            "\n",
            "3. **Znajomość branży finansowej**: Kandydat pracował w wielu firmach z branży finansowej, takich jak BGŻ BNP Paribas, Getin Noble Bank, ING Bank Śląski, PZU, Nationale Nederlanden, Europejski Fundusz Leasingowy, Neuca, Nomax, Nowy Styl Group, PKP Informatyka, PGE Systemy, Grupa TAURON Polska Energia, Polskie Sieci Elektroenergetyczne, TVN (Discovery), Bank Gospodarstwa Krajowego, Narodowy Bank Polski, Resort Finansów, Ministerstwo Spraw Zagranicznych, Ministerstwo Cyfryzacji, Zakład Ubezpieczeń Społecznych, Agencja Restrukturyzacji i Modernizacji Rolnictwa, Państwowa Inspekcja Pracy, Państwowa Inspekcja Sanitarna, Państwowy Instytut Geologiczny. To pokazuje, że ma doświadczenie i zrozumienie specyfiki branży finansowej.\n",
            "\n",
            "4. **Umiejętności miękkie**: Kandydat jest profesorem na SGH, gdzie kieruje Zakładem Zarządzania IT. Jest także aktywnym uczestnikiem wielu projektów w roli architekta korporacyjnego, architekta IT, analityka biznesowego i analityka procesów. To wskazuje na jego zdolności przywódcze, umiejętność komunikacji i pracy w zespole.\n",
            "\n",
            "5. **Osiągnięcia i sukcesy**: Kandydat zorganizował wiele wydarzeń związanych z hiperautomatyzacją i AI, w których wzięło udział blisko 16.000 osób. Jest autorem kilku książek na temat architektury korporacyjnej i robotyzacji procesów biznesowych.\n",
            "\n",
            "Podsumowując, kandydat ma solidne doświadczenie w zarządzaniu projektami AI, głęboką wiedzę techniczną, doświadczenie w branży finansowej oraz umiejętności miękkie, które czynią go odpowiednim kandydatem na stanowisko menedżera do spraw AI w firmie z branży finansowej.\n"
          ]
        }
      ],
      "source": [
        "max_tokens = 1024\n",
        "temperature = 0.1\n",
        "\n",
        "system = \"Pracujesz w agencji rekrutacyjnej. Pomagasz dużej firmie z branży finansowej zatrudnić menedżera do spraw AI. Dokonaj oceny podanego kandydata i wypisz jego mocne strony.\"\n",
        "prompt = get_page_content(\"https://hiperautomatyzacja.pl/o-organizatorze\")\n",
        "generate(prompt, system=system)"
      ]
    }
  ],
  "metadata": {
    "accelerator": "GPU",
    "colab": {
      "gpuType": "T4",
      "provenance": []
    },
    "kernelspec": {
      "display_name": "Python 3 (ipykernel)",
      "language": "python",
      "name": "python3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.11.7"
    },
    "widgets": {
      "application/vnd.jupyter.widget-state+json": {
        "08730d78df05455fa379d79b45d1ee7f": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "ProgressStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "283fc310ceb7485ca815797b6d9b41b0": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "358ce4c021154f1ca4f2c71f9a031280": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "4f32de3c9eb74d0eac6d8f6b60cfe824": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "787eba0e024a40b5a8041ae32dff8c48": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "7bf84a9126e848a1bf457433ab1c6d28": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "90e369ef225d494eaac7abebc1e529d4": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_283fc310ceb7485ca815797b6d9b41b0",
            "placeholder": "​",
            "style": "IPY_MODEL_358ce4c021154f1ca4f2c71f9a031280",
            "value": " 3/3 [01:15&lt;00:00, 24.92s/it]"
          }
        },
        "9739047ea88241a9b19b865bcb4c8ec0": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "FloatProgressModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_7bf84a9126e848a1bf457433ab1c6d28",
            "max": 3,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_08730d78df05455fa379d79b45d1ee7f",
            "value": 3
          }
        },
        "99b5ea60f942452a9493155a35933dfe": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HBoxModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_9dfa485bd8a34dc2bfc9825989fda2ac",
              "IPY_MODEL_9739047ea88241a9b19b865bcb4c8ec0",
              "IPY_MODEL_90e369ef225d494eaac7abebc1e529d4"
            ],
            "layout": "IPY_MODEL_4f32de3c9eb74d0eac6d8f6b60cfe824"
          }
        },
        "9dfa485bd8a34dc2bfc9825989fda2ac": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_ea6d9361c0c04d57a222491d08c5060e",
            "placeholder": "​",
            "style": "IPY_MODEL_787eba0e024a40b5a8041ae32dff8c48",
            "value": "Loading checkpoint shards: 100%"
          }
        },
        "ea6d9361c0c04d57a222491d08c5060e": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        }
      }
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}