Блог о веб-разработке — OlegPro

Ищем PHP-разработчика в команду Читай-Технологий

Привет!

Давно мы с вами в этом блоге не виделись и на это есть ряд причин. Но речь сейчас не об этом :)

Мы ищем PHP-разработчика в Платформенную команду Читай-Технологий.

Платформа — набор качественных, надёжных сервисов и инструментов, с помощью которых, как из кирпичиков, мы быстро создаём новые продукты (как для онлайн-канала, так и для розничного).

У нас:

Тысячи RPS на бекенд
Symfony 7.2
DDD, Event-Driven
Развитая php-экосистема: собственные composer-пакеты, регламенты, митапы и книжные клубы
Микросервисная архитектура
Локальная разработка в Docker-окружении
Стенды под фичи, которые поднимаются за несколько минут
Kubernetes
Впечатляющий набор линтеров и статических анализаторов
Выстроенные процессы
И ещё куча всего крутого :)

Обновлено 14.07.2025

Кандидат найден, вакансию закрыли :)

Если вам есть что предложить и вы хотите попробовать свои силы — пишите мне в телеграм или на почту ya@olegpro.ru.

Переезд гит-репозитория с сохранением истории коммитов, веток, тегов

git clone --mirror <url_old_repo> .
git remote add new-origin <url_new_repo>
git push new-origin --mirror

MySQL-таблица занимает много места на диске, при малом количество данных в самой таблице

Кейс: в таблице (InnoDB) 39 записей на 65KB, а места на диске таблица занимает 2,6G:

user@site:~# du -sh /var/lib/mysql/site/* | grep b_composite_page
16K     /var/lib/mysql/site/b_composite_page.frm
2,6G    /var/lib/mysql/site/b_composite_page.ibd

Почему так? Как почистить место?

Результат команды SHOW TABLE таблицы:

MariaDB [site]> SHOW TABLE STATUS LIKE 'b_composite_page'\G;
*************************** 1. row ***************************
           Name: b_composite_page
         Engine: InnoDB
        Version: 10
     Row_format: Compact
           Rows: 39
 Avg_row_length: 420
    Data_length: 16384
Max_data_length: 0
   Index_length: 49152
      Data_free: 2648702976
 Auto_increment: 132230
    Create_time: 2018-02-11 00:49:29
    Update_time: NULL
     Check_time: NULL
      Collation: utf8_unicode_ci
       Checksum: NULL
 Create_options:
        Comment:
1 row in set (0.01 sec)

ERROR: No query specified

Видим, что Data_free (количество выделенных, но неиспользуемых байтов) заоблачный. При том, что Data_length + Index_length крохотный.

При вставке в InnoDB-таблицы место на диске увеличивается, а при удалении не уменьшается.

Лечится это ребилдом таблицы:

MariaDB [site]> ALTER TABLE b_composite_page Engine=InnoDB;
Query OK, 0 rows affected (0.11 sec)
Records: 0  Duplicates: 0  Warnings: 0

При желании можно ещё запустить оптимизацию:

MariaDB [site]> OPTIMIZE TABLE b_composite_page;
+-----------------------+----------+----------+-------------------------------------------------------------------+
| Table                 | Op       | Msg_type | Msg_text                                                          |
+-----------------------+----------+----------+-------------------------------------------------------------------+
| site.b_composite_page | optimize | note     | Table does not support optimize, doing recreate + analyze instead |
| site.b_composite_page | optimize | status   | OK                                                                |
+-----------------------+----------+----------+-------------------------------------------------------------------+
2 rows in set (0.10 sec)

В итоге видим, что теперь всё стало больше похоже на правду:

MariaDB [site]> SHOW TABLE STATUS LIKE 'b_composite_page'\G;
*************************** 1. row ***************************
           Name: b_composite_page
         Engine: InnoDB
        Version: 10
     Row_format: Compact
           Rows: 40
 Avg_row_length: 409
    Data_length: 16384
Max_data_length: 0
   Index_length: 49152
      Data_free: 0
 Auto_increment: 132231
    Create_time: 2018-07-19 01:08:02
    Update_time: NULL
     Check_time: NULL
      Collation: utf8_unicode_ci
       Checksum: NULL
 Create_options:
        Comment:
1 row in set (0.00 sec)

ERROR: No query specified

MySQL. Удалить дубликаты повторяющихся записей, сохраняя последнюю

Решение одним запросом:

DELETE o FROM table as o
INNER JOIN (
    SELECT element_id, MAX(id) as max_id
    FROM table 
    GROUP BY element_id 
    HAVING COUNT(*) > 1
) as r ON o.element_id = r.element_id
WHERE o.id < r.max_id

Написал аналог функции FIELD() в MySQL для Sphinx

В MySQL есть замечательная функция FIELD(). С её помощью, например, можно сортировать результаты выборки, зная точный порядок элементов.

Например, SELECT FIELD('c', 'a', 'b', 'c', 'd', 'e'); вернёт 3.

Понадобилась точно такая же функция, но в SphinxQL. Так в итоге родился плагин для Sphinx, о котором я расскажу в заметке.

Дополнительные функции в Sphinx называются — Sphinx UDFs (User Defined Functions).

Свою функцию-аналог я назвал BK_FIELD.

Установка

Качаем с гитхаба исходники:

$ git clone https://github.com/olegpro/sphinx-udf-field.git

$ cd sphinx-udf-field

Компилируем плагин из исходников:

$ make

$ sudo make install

В этот момент в текущей папке появится файл bk_field.so. Он автоматически будет скопирован в папку /usr/local/sphinx/lib/

Теперь нужно в конфиге сфинкса sphinx.conf указать путь к папке с плагинами:

common
{
    plugin_dir = /usr/local/sphinx/lib
}

Осталось только зарегистрировать udf-функцию в сфинксе.

Для этого подключаемся к сфинксу, примерно так:

$ mysql -h127.0.0.1 -P9306

Регистрируем udf-функцию:

mysql> CREATE FUNCTION bk_field RETURNS BIGINT SONAME 'bk_field.so';
Query OK, 0 rows affected (0,00 sec)

Пример работы

mysql> SELECT BK_FIELD('c', 'a', 'b', 'c', 'd', 'e');

+----------------------------------------+
| BK_FIELD('c', 'a', 'b', 'c', 'd', 'e') |
+----------------------------------------+
| 3                                      |
+----------------------------------------+
1 row in set (0.00 sec)

Вот, собственно, и всё.

Некоторые нюансы

Функция BK_FIELD разрегистрируется

При использование udf-функций мы порой начали ловить ошибку:

ERROR 1064 (42000): Sphinx expr: syntax error, unexpected '(', expecting $end near '('c', 'a', 'b', 'c', 'd', 'e')'

Как оказалось, что функция BK_FIELD просто разрегистрировалась в сфинксе после перезапуска демона searchd. Решение простое.

Пишем sql-файл с содержимым регистрации плагина:

CREATE FUNCTION bk_field RETURNS BIGINT SONAME 'bk_field.so';

Указываем этот файл в секции searchd в sphinx.conf:

searchd {
    sphinxql_state = /var/lib/sphinx/startup.sql
}

При компилировании в Visual Studio выдает ошибки

Плагин я писал в Visual Studio. При компилировании в Visual Studio выдает следующие ошибки:

"C:\Windows\SysWOW64\ntdll.dll". Невозможно найти или открыть PDB-файл.
"C:\Windows\SysWOW64\kernel32.dll". Невозможно найти или открыть PDB-файл.
"C:\Windows\SysWOW64\KernelBase.dll". Невозможно найти или открыть PDB-файл.
"C:\Windows\SysWOW64\msvcp120d.dll". Невозможно найти или открыть PDB-файл.
"C:\Windows\SysWOW64\msvcr120d.dll". Невозможно найти или открыть PDB-файл.

Решение: включить в настройках Visual Studio (Tool - Options) симовл серверов Microsoft и тогда ненайденные PDB файлы для системных библиотек будут загружены с сервера Microsoft:

Полезные ссылки

BK_FIELD на GitHub
Sphinx UDFs
Реализация в mysql (начинается со строки longlong Item_func_field::val_int())
Плагин для сфинкса на GO
Makefile для самых маленьких

ISPmanager, inode в Linux и заканчивающееся место

Сегодня столкнулся с проблемой, что при установке пакета, apt стал падать с ошибкой о нехватке места на диске.

root@site:~# apt install htop
Чтение списков пакетов… Ошибка!
E: Could not create temporary file for /var/cache/apt/srcpkgcache.bin - mkstemp (28: На устройстве не осталось свободного места)
E: Списки пакетов или файл состояния не могут быть открыты или прочитаны.

Команда df -h при этом показывала, что место-то есть и его хватает:

root@site:~# df -h
Файловая система Размер Использовано  Дост Использовано% Cмонтировано в
udev               992M            0  992M            0% /dev
tmpfs              201M         5,5M  195M            3% /run
/dev/vda1           20G         9,9G  9,0G           53% /
tmpfs             1003M            0 1003M            0% /dev/shm
tmpfs              5,0M            0  5,0M            0% /run/lock
tmpfs             1003M            0 1003M            0% /sys/fs/cgroup
tmpfs             1003M            0 1003M            0% /tmp
tmpfs             1003M         8,0K 1003M            1% /var/spool/exim4
tmpfs              201M            0  201M            0% /run/user/0

И как оказалось в linux есть понятие «инодов» (inode). Файл 10гб и 1мб занимают одну иноду. Их занятое количество можно померить с помощью df -i:

root@site:~# df -i
Файловая система  Iнодов IИспользовано IСвободно IИспользовано% Cмонтировано в
udev              253777           306    253471             1% /dev
tmpfs             256551           418    256133             1% /run
/dev/vda1        1280000       1267580     12420           100% /
tmpfs             256551             1    256550             1% /dev/shm
tmpfs             256551             3    256548             1% /run/lock
tmpfs             256551            15    256536             1% /sys/fs/cgroup
tmpfs             256551            15    256536             1% /tmp
tmpfs                500             1       499             1% /var/spool/exim4
tmpfs             256551            11    256540             1% /run/user/0

Тут видно, что что в разделе /dev/vda1 они под завязку.

После недолгих раскопок оказалось, что ISPmanager никак не чистит php-сессии. Их стало очень дохера и иноды закончились.

Решается просто:

/usr/bin/find /var/www/site/data/mod-tmp -mtime +10 -exec rm -rf {} \; >/dev/null 2>&1

Так мы удалим все сессии старше 10 дней. Так же эту команду надо добавить в крон, чтобы избежать переполнения инод.

Кстати, сервер у меня в Айхоре

composer require и ошибка error:14090086:SSL routines:ssl3_get_server_certificate:certificate verify failed

При добавлении любого пакета, командой composer require, композер стал валиться с ошибкой:

$ composer require vendor/package

[Composer\Downloader\TransportException]
  The "https://api.github.com/repos/vendor/package" file could not be downloaded: SSL operation failed with code 1. OpenSSL Error messages:
  error:14090086:SSL routines:ssl3_get_server_certificate:certificate verify failed
  Failed to enable crypto
  failed to open stream: operation failed


require [--dev] [--prefer-source] [--prefer-dist] [--no-progress] [--no-suggest] [--no-update] [--no-scripts] [--update-no-dev] [--update-with-dependencies] [--update-with-all-depe
ndencies] [--ignore-platform-reqs] [--prefer-stable] [--prefer-lowest] [--sort-packages] [-o|--optimize-autoloader] [-a|--classmap-authoritative] [--apcu-autoloader] [--] [<package
s>]...

Гуглились в основном решения с указанием файлов сертификатов в php.ini в опциях openssl.cafile и curl.cainfo.

Мне помогло просто обновление самого composer:

composer self-update

Пример файла bitbucket-pipelines.yml для запуска Codeception тестов после изменения ветки

Bitbucket Pipelines — это CI/CD система для проектов в Bitbucket Cloud.

В этой заметке покажу лишь пример файла bitbucket-pipelines.yml, для запуска авто-тестов Codeception. Подразумевается, что у вас в корне проекта есть composer.json, в котором прописана зависимость codeception/codeception.

bitbucket-pipelines.yml:

image: php:7.0.30

pipelines:
  branches:
    dev:
    - step:
        deployment: test
        caches:
          - composer
        script:
          - apt-get update && apt-get install -y unzip libfreetype6-dev libjpeg62-turbo-dev libpng12-dev git
          - curl -sS https://getcomposer.org/installer | php -- --install-dir=/usr/local/bin --filename=composer
          - docker-php-ext-configure gd --with-freetype-dir=/usr/include/ --with-jpeg-dir=/usr/include/
          - docker-php-ext-install -j$(nproc) gd
          - docker-php-ext-install bcmath zip
          - composer install
          - vendor/bin/codecept run

Успешный билд выглядит вот так:

Пишем xml-строку в логи monolog без пробелов между xml-узлами

Если мы хотим записать xml-строку в логи с помощью пакета monolog, то строка запишется в одну строку с пробелами между xml-узлов.

Пример:

$xmlString = <<<EOF
<?xml version="1.0"?>
<catalog>
   <book id="bk101">
      <author>Gambardella, Matthew</author>
      <title>XML Developer's Guide</title>
      <genre>Computer</genre>
      <price>44.95</price>
      <publish_date>2000-10-01</publish_date>
      <description>An in-depth look at creating applications with XML.</description>
   </book>
   <book id="bk102">
      <author>Ralls, Kim</author>
      <title>Midnight Rain</title>
      <genre>Fantasy</genre>
      <price>5.95</price>
      <publish_date>2000-12-16</publish_date>
      <description>A former architect battles corporate zombies, an evil sorceress, and her own childhood to become queen of the world.</description>
   </book>
</catalog>
EOF;
;
 
 
$xml = simplexml_load_string($xmlString);
 
dlog(
    sprintf('xml response: "%s"', trim($xml->asXML()))
);

В логах будет запись:

[2018-02-17 18:26:45] app.DEBUG: xml response: "<?xml version="1.0"?> <catalog>    <book id="bk101">       <author>Gambardella, Matthew</author>       <title>XML Developer's Guide</title>       <genre>Computer</genre>       <price>44.95</price>       <publish_date>2000-10-01</publish_date>       <description>An in-depth look at creating applications with XML.</description>    </book>    <book id="bk102">       <author>Ralls, Kim</author>       <title>Midnight Rain</title>       <genre>Fantasy</genre>       <price>5.95</price>       <publish_date>2000-12-16</publish_date>       <description>A former architect battles corporate zombies, an evil sorceress, and her own childhood to become queen of the world.</description>    </book> </catalog>" [] []

Запись не выглядит единым целым, что мешает чтению логов (по крайней мере мне).

Желаемого можно достичь с помощью \DOMDocument.

Пример:

$xmlString = <<<EOF
<?xml version="1.0"?>
<catalog>
   <book id="bk101">
      <author>Gambardella, Matthew</author>
      <title>XML Developer's Guide</title>
      <genre>Computer</genre>
      <price>44.95</price>
      <publish_date>2000-10-01</publish_date>
      <description>An in-depth look at creating applications
      with XML.</description>
   </book>
   <book id="bk102">
      <author>Ralls, Kim</author>
      <title>Midnight Rain</title>
      <genre>Fantasy</genre>
      <price>5.95</price>
      <publish_date>2000-12-16</publish_date>
      <description>A former architect battles corporate zombies,
      an evil sorceress, and her own childhood to become queen
      of the world.</description>
   </book>
</catalog>
EOF;
;
 
$xml = simplexml_load_string($xmlString);
 
dlog(
    sprintf('Xml-ответ после закупки товаров из 1С: "%s"', trim(
        call_user_func(
            function (\SimpleXMLElement $xml) {
                $dom = new \DOMDocument('1.0');
                $dom->preserveWhiteSpace = false;
                $dom->loadXML($xml->asXML());
                return $dom->saveXML();
            },
            $xml
        )
    ))
);

В логах уже будет приятная запись:

[2018-02-17 18:26:45] app.DEBUG: xml response: "<?xml version="1.0"?> <catalog><book id="bk101"><author>Gambardella, Matthew</author><title>XML Developer's Guide</title><genre>Computer</genre><price>44.95</price><publish_date>2000-10-01</publish_date><description>An in-depth look at creating applications with XML.</description></book><book id="bk102"><author>Ralls, Kim</author><title>Midnight Rain</title><genre>Fantasy</genre><price>5.95</price><publish_date>2000-12-16</publish_date><description>A former architect battles corporate zombies, an evil sorceress, and her own childhood to become queen of the world.</description></book></catalog>" [] []

Примечание: в заметке опущена реализация функции dlog() и предполагается, что к вам прилетает xml в виде \SimpleXMLElement.

OrderHelper — класс-хелпер с аналогами методов классов CSaleOrder и CSaleOrderPropsValue для 1С-Битрикс

Написал класс-хелпер, в котором набор методов-аналогов классов CSaleOrder и CSaleOrderPropsValue с логированием ошибок, успешного сохранения, бэктрейсом. Для логирования используется логгер monolog.

Доступны методы:

\Olegpro\Helpers\OrderHelper::cancelOrder($orderId, string $value, string $comment = '', $silenceMode = true): bool
 
\Olegpro\Helpers\OrderHelper::setOrderPropertySingle($orderId, $code, $value, $silenceMode = true): bool
 
\Olegpro\Helpers\OrderHelper::setOrderPropertyMultiply($orderId, array $values, $silenceMode = true): bool
 
\Olegpro\Helpers\OrderHelper::setOrderField($orderId, $fieldName, $fieldValue, $silenceMode = true): bool
 
\Olegpro\Helpers\OrderHelper::setShipmentField($orderId, string $deliveryCode, string $fieldName, $fieldValue, $orderDeliveryId = null, $silenceMode = true): bool

Все методы подразумевают использование вне цикла сохранения заказа (внутри каждого используется \Bitrix\Sale\Order::save). Это важно учитывать или можно получить циклический вызов обработчиков ядра (но если сильно надо — то можно и обойти).

У всех последним параметром есть $silenceMode = true. Если его передать в false, то будет выкинуто исключение OrderHelperException.

С хелпером OrderHelper этих мамонтов можно забыть:

CSaleOrder::PayOrder
CSaleOrder::CancelOrder
CSaleOrder::StatusOrder
CSaleOrderPropsValue::Add
CSaleOrderPropsValue::Update
CSaleOrder::Update