Wykorzystywanie danych stanowi problem przy opracowywaniu programów i opracowywaniu systemów informatycznych. Przed analizą dużej ilości danych i podjęciem decyzji, która gwarantuje wiarygodny i obiektywny wynik, konieczne jest określenie tego dużego wolumenu. Zadanie jest skomplikowane, jeśli przepływ informacji szybko rośnie, a czas na podjęcie decyzji jest ograniczony.

Dane i ich formalizacja

Nowoczesne technologie informacyjne zapewniają bezpieczną i rzetelną analizę, prezentację i przetwarzanie danych. Formalnie i formalnie jest to prawda. Pod względem semantyki zadania i obiektywności oczekiwanego rozwiązania - wynik zależy od doświadczenia, wiedzy i umiejętności programisty. Języki programowania są w stanie niezawodnego i bezpiecznego narzędzia. Wiedza i umiejętności specjalistów w zakresie analizowania, reprezentowania i przetwarzania danych osiągnęły poziom względnej uniwersalności.


Technologia analizy danych intelektualnych na tym poziomie jest praktycznie nienaganna. Rodzaj danych może być znany przed operacją na nich, a w przypadku niezgodności - zostanie automatycznie doprowadzony do pożądanego typu. Narzędzia hipertekstowe są opracowywane, rozproszone rozproszone przetwarzanie dużych ilości danych jest szeroko stosowane. Na tym poziomie:

zadania informacyjne podlegają formalizacji;

spełnione są potrzeby analizy intelektualnej;

Jakość wyniku zależy od jakości wiedzy i profesjonalizmu programisty.

Sytuacja w programowaniu informacjiSystemy poziomu przedsiębiorstwa charakteryzują się obecnością naprawdę działających produktów, które zapewniają tworzenie dużych ilości danych i problem wyższego rzędu.

Duże ilości danych

W latach 80., kiedy bazy danych stały się systemami zarządzania bazami danych, poprawa niezawodności sprzętu i jakości języków programowania pozostawiały wiele do życzenia. Zgromadzono wiele baz danych, wiele skomputeryzowanych źródeł informacji, opracowano kompleksowe systemy gromadzenia różnych informacji (finanse, pogoda, statystyki, podatki, nieruchomości, dane osobowe, klimat, polityka). Niektóre źródła danych charakteryzują się oczywistymi prawami i podlegają analizie metodami matematycznymi. Możesz przeprowadzić inteligentną analizę danych w Excelu: wyraźne dane, zbudowanie modelu, sformułowanie hipotezy, określenie korelacji itp. Niektóre dane i źródła prawa są trudne do wykrycia. We wszystkich przypadkach oprogramowanie i sprzęt do przetwarzania danych charakteryzuje się niezawodnością i stabilnością. Zadanie inteligentnej analizy danych znalazło się na czele zakrętu w wielu sferach społeczno-gospodarczych. Przywódcy branży informacyjnej, w szczególności Oracle, koncentrują swoją uwagę na szeregu okoliczności charakteryzujących dane nowego typu:

olbrzymie przepływy;

informacje naturalne (nawet jeśli jest zaprogramowane);

dane heterogeniczne;

najwyższe kryteria odpowiedzialności;

szeroki zakres formatów reprezentacji danych;

kompatybilność integratorówdane i ich programy obsługi.

Główną cechą danych nowego typu: ogromny wolumen i szybkość wzrostu tego tomu. Klasyczne algorytmy nie mają zastosowania do przetwarzania danych nowego typu, nawet biorąc pod uwagę szybkość nowoczesnych komputerów i zastosowanie technologii równoległych.

Od tworzenia kopii zapasowych po migrację i integrację

Wcześniej zadanie bezpiecznego przechowywania informacji (tworzenie kopii zapasowych, tworzenie kopii zapasowych) było pilne. Obecnie problem migracji wielu reprezentacji danych (różne formaty i kodowanie) i ich integracji w jedną całość jest aktualny. Bez technologii inteligentnej analizy danych wiele problemów nie może zostać rozwiązanych. Tutaj nie mówimy o podejmowaniu decyzji, określaniu zależności, tworzeniu algorytmów woluminów danych próbek do dalszego przetwarzania. Łączenie heterogenicznych danych stało się problemem i nie jest możliwe przekazanie źródeł informacji do jednej sformalizowanej podstawy. Inteligentna analiza dużych ilości danych wymaga zdefiniowania tego tomu i stworzenia technologii (algorytm, heurystyka, zestawy reguł), aby uzyskać możliwość postawienia zadania i jego rozwiązania.

Eksploracja danych: kopanie

Pojęcie analizy danych w kontekście metod intelektualnych rozwija się aktywnie od początku lat 90. ubiegłego wieku. Sztuczna inteligencja jeszcze nie spełniła oczekiwań, ale potrzeba świadomych decyzji opartych na analizie informacji stale wzrastała. Uczenie maszynowe, inteligentna analiza danych, rozpoznawanie obrazów, wizualizacja, teoria baz danych, algorytmizacja, statystyki,metodami matematycznymi były spektrum zadań nowej, aktywnie rozwijającej się gałęzi wiedzy, która związana jest z angielskim minigiem danych.
W praktyce nowa dziedzina wiedzy stała się interdyscyplinarna i właśnie się tworzy. Dzięki doświadczeniu Oracle Oracle, Microsoft, IBM i innym wiodącym firmom i oprogramowaniu, istnieje jasny pogląd, że taka inteligentna analiza danych, ale wciąż jest wiele pytań. Wystarczy powiedzieć, że linia produktów oprogramowania Oracle, przeznaczona do wyjątkowo dużych ilości informacji, ich integracji, kompatybilności, migracji i przetwarzania, ma ponad czterdzieści pozycji! Co jest potrzebne, aby poprawnie przetwarzać duże dane i uzyskać uziemione rozwiązanie? Naukowcy i praktyki skupiają się na ogólnym rozumieniu wyrażenia "poszukiwanie ukrytych praw". Istnieją trzy pozycje tutaj:

nieoczywiste;

obiektywność;

użyteczność praktyczna.

Pierwsza pozycja oznacza, że ​​zwykłe metody nie determinują tego, co należy znaleźć i jak to zrobić. Programowanie klasyczne nie ma tutaj zastosowania. Wymagana, jeśli nie sztuczna inteligencja, to przynajmniej programy do inteligentnej analizy danych. Określenie "intelektualny" jest nie mniejszym problemem niż zadanie określenia wystarczającej ilości danych początkowych do podjęcia decyzji i sformułowania wstępnych zasad pracy. Obiektywizm - rodzaj gwarancji, że wybrana technologia, opracowana "inteligentna" metoda lub szereg "inteligentnych" zasad da podstawy do przekonania, że ​​wyniki są poprawne nie tylko dla autora,ale także każdy inny specjalista.

Oracle w swoich programach dodaje pojęcie obiektywności statusu bezpiecznego, pozbawionego negatywnej ingerencji stron trzecich. Praktyczna użyteczność - najważniejsze kryterium wyniku i algorytmu rozwiązania problemu data mining w konkretnej aplikacji.

Eksploracja danych: gdzie wykopać

Business Intelligence (Business Intelligence - BI) to podstawa nowoczesnego, najdroższego i popularnego oprogramowania. Dostawcy rozwiązań biznesowych uważają, że znaleźli sposób na rozwiązanie problemów związanych z przetwarzaniem dużych ilości danych, a ich oprogramowanie może zapewnić bezpieczny i szybki rozwój biznesu każdej wielkości firmy. Podobnie jak w przypadku sztucznej inteligencji w dziedzinie inteligentnej analizy danych, obecnych osiągnięć nie należy zbytnio zawyżać. Wszystko tylko dostaje się do stóp, ale także zaprzecza prawdziwym skutkom, nie może. Zakres zastosowania. Opracowywane są algorytmy analizy danych intelektualnych w gospodarce, produkcji, w zakresie informacji klimatycznych, kursów kursów walutowych. Istnieją inteligentne produkty, które chronią firmę przed negatywnym wpływem zwolnionych pracowników (obszar psychologii i socjologii to silny temat), od wirusów. Wiele wydarzeń naprawdę spełnia funkcje zadeklarowane przez ich producentów. W rzeczywistości zadanie - co robić i gdzie to zrobić - nabrało znaczącego i obiektywnego kontekstu:

minimalny możliwy zakres;

najdokładniejszy i najdokładniejszy cel;

źródła danych i danesą doprowadzone do jednej podstawy.

Tylko zakres i oczekiwana praktyczna użyteczność mogą pomóc sformułować technologię, metodologię, reguły i podstawy eksploracji danych w określonej dziedzinie do określonego celu.
Technologia informatyczna złożyła wniosek o dyscyplinę naukową i nie jest konieczne podejmowanie małych kroków w nowym, niezbadanym kierunku. Wchodząc do świętych świętych - inteligencji naturalnej, człowiek nie może żądać od siebie tego, czego nie można zrobić. Decyzja o tym, co i jak należy zrobić, jest dziś niezwykle trudna. W konkretnym biznesie, w konkretnym obszarze ludzkiej działalności, możliwe jest nakreślenie ilości informacji do zbadania i uzyskanie rozwiązania, które będzie charakteryzować się pewnym stopniem prawdopodobieństwa i wskaźnikiem obiektywności.

Eksploracja danych: jak kopać

Profesjonalne programowanie i własny wysoko wykwalifikowany personel - jedyne narzędzie do osiągnięcia pożądanego rezultatu. Przykład 1. Zadanie eksploracji danych nie zostanie rozwiązane przez zastosowanie aplikacji Oracle Load Testing Controller. Ten produkt jest uznawany za w pełni funkcjonalne i rozszerzalne narzędzie do testowania obciążenia. To bardzo wąskie zadanie. Załaduj tylko! Nic więcej, żadnych zadań intelektualnych. Jednak zadania, w których ten produkt jest używany, mogą spowodować ślepy zaułek nie tylko dla osoby wykonującej testy, ale także dla programisty, z wszystkimi regaliami lidera branży. W szczególności testowanie jest warunkiem kompletności funkcjonalnej. Gdzie jest gwarancja, że ​​kontroler testowy obciążenia Oracle jest "aktualny", na którym gromadzone są zestawy danychmoże wejść na wejście badanego programu, serwera, oprogramowania i sprzętu. Przykład 2. Oracle Business Intelligence Suite Foundation Edition dla aplikacji Oracle - Deweloper deklaruje ten produkt jako dobrą kombinację wykorzystaną ze specjalistyczną wiedzą na temat budowania, rozwijania i udostępniania dużej firmy. Niewątpliwie doświadczenie Oracle jest świetne, ale to nie wystarcza do jego transformacji przez produkt programowo-ekspercki. W konkretnym przedsiębiorstwie, w określonym regionie, Business Intelligence firmy Oracle może nie działać z decyzji organu podatkowego lub decyzji lokalnej gminy.

Inteligentne zastosowanie nowoczesnych technologii

Jedyne właściwe rozwiązanie w zakresie dużych ilości informacji, eksploracji danych i systemów eksploracji danych przedsiębiorstwa, agencji rządowej oraz w każdym obszarze społeczno-gospodarczym - zespół specjalistów. Wiedza i doświadczenie wykwalifikowanych specjalistów jest jedynym właściwym rozwiązaniem, które zapewni kompleksową odpowiedź na pytania:

eksploracja danych: co kopać, gdzie to zrobić i jak?

Zakup priorytetowych produktów odpowiedniego miejsca przeznaczenia nie będzie zbędny, ale zanim to zrobisz, musisz przestudiować zakres zastosowania, sformułować wstępną decyzję i wprowadzić cel wstępny. Dopiero po określeniu obszaru tematycznego i względnie jasnym, możesz wyszukać rozwiązania, które zostały już opracowane i przetestowane w praktyce. Najprawdopodobniej zostanie znaleziony produkt, który wyjaśni przedmiot i cel. Żaden program dzisiaj nie poradzi sobie z prawdziwym zadaniem. Zagubiony w dziedzinie sztucznej inteligencjina początku lat 80-tych ubiegłego wieku inteligentna osoba nie może jeszcze liczyć na to, że będzie w stanie napisać program, decydujące zadanie intelektualne. ​​Nie należy oczekiwać, że sztuczna inteligencja będzie pochodzić sama, ale ta kupiona w Oracle, Microsoft i IBM powie, co trzeba zrobić, i jaki wynik należy uznać za poprawny. We współczesnym świecie technologii informacyjnych następuje szybki postęp. Może to stanowić skuteczną część, wzmocnić firmę lub rozwiązać trudne zadanie. Ale musisz wziąć udział, nie licz na program. Programowanie jest pracą statyczną, jego wynikiem jest sztywny algorytm. Nowoczesna intelektualna reguła lub heurystyka to sztywno ustalone rozwiązanie, które nie działa z największą szansą.

Modelowanie i testowanie

Inteligentna analiza dużych danych - naprawdę istotne i odpowiednie zadanie. Ale obszar zastosowania do wykrywania tego problemu jest zły, ale przeżywany i rozwijany. Potrzeba dalszego rozwoju działalności stawia nowe wyzwania, które pozwalają nam koncepcyjnie zarysować zakres przetwarzania dużych ilości danych. Jest to naturalny proces rozwoju naukowego, technicznego i intelektualnego przedsiębiorstwa, firmy, biznesu. Można to przypisać technologiom internetowym, do zadań związanych z analizowaniem informacji w Internecie. Istnieje wiele nowych zadań i programów, które są pożądane, mogą być mniej lub bardziej przejrzyste i charakteryzowane przez obiektywny parametr: ich rozwiązanie jest interesujące i istnieje zrozumienie prawdopodobnej użyteczności. Symulacja -Dobrze rozwinięty obszar wyposażony w wiele sprawdzonych metod matematycznych. Model można zbudować zawsze, będzie czas i pragnienie. Modelowanie pozwala skupić całą dostępną wiedzę w jeden system i poprawić go na zestaw danych testowych cyklicznie. Jest to klasyczna ścieżka rozwoju, która również została przetestowana w praktyce. Jeśli nie budować zamki w powietrzu, a ze stajni pewnie iść do celu, może być zdefiniowana ścieżka i pożądane rozwiązanie i ostateczny cel.

Programowanie i inteligentne metody

To jest programowanie we wczesnych latach 80-tych ubiegłego wieku doprowadziły do ​​narodzin świadomości społecznej idei sztucznej inteligencji, że był to przodek eksploracji danych, a zaczął z technik eksploracji danych. W tych odległych czasach problemy dużych ilości danych nie istniały. Dziś podstawą do prezentacji danych są nie tylko duże ilości danych, ale także wynik rozwoju systemów zarządzania bazami danych - znaczące doświadczenie w relacjach relacyjnych. Relacje relacyjne są częścią, ale nie integralną. Istnieje pojęcie systemów, hierarchii, a wiele z tego, co ma naturalną inteligencję, ale nie można wdrożyć sztucznej inteligencji: w tym przypadku - w programowaniu. Programowanie nie jest inteligencja w żaden sposób, ale jest wynikiem prawdziwej inteligencji w praktyce. To jest jego sens, a to może być wykorzystane do osiągnięcia pożądanych celów.

Aktywna wiedza i umiejętności

Każdy program jest statyczny. Przedstawia budowę algorytmu rozwiązania ww obrębie składni języka programowania. Nowoczesne języki programowania są doskonałym rezultatem lat 80., czego nie można zaprzeczyć. Należy również zauważyć, że nowoczesne języki programowania umożliwiają tworzenie darmowych algorytmów poza ich składnią. Jeśli ktokolwiek może napisać program, który będzie działał nie wbrew woli jego autora, ale na woli zdobytej przez niego wiedzy i umiejętności, problem dużych ilości danych i podejmowania intelektualnych decyzji zostanie zamknięty, a nowy etap rozwoju wiedzy rozpocznie się.